برچسب زن اجزای کلام زبان فارسی

برچسب زن اجزای کلام زبان فارسی

اسلاید 1: حضرت علی علیه السلام:هرگاه خداوند بنده ای را پست و ذلیل فرماید علم را برای او ممنوع می‏سازد92/5/9

اسلاید 2: ساختار ارائهمعرفی برچسب گذارکاربردهاروشهاشرح مراحل انجام پروژه پیاده سازی برچسب گذار زبان فارسیایجاد دیکشنریایجاد و ارزیابی قواعدکلمات ناشناختهشناسایی فعلارزیابی

اسلاید 3: نمونه ابزار انگلیسیورودی:خروجی

اسلاید 4: نمونه ابزار انگلیسی (ادامه)

اسلاید 5: کاربردهامدل سازی زبانی (در بازشناسی گفتار و ...): مقوله نحوی یک کلمه می تواند در پیش بینی کلمه بعدی کمک کند.مثال: انگلیسی: ضمایر ملکی+ اسم فارسی: حرف اضافه (اسم یا ضمیر) سنتز گفتار: مقوله نحوی یک کلمه می تواند اطلاعاتی در مورد نحوه تلفظ صحیح یک کلمه به ما بدهد.مثال: تلفظ OBject (noun) و obJECT (verb)تلفظ”مَرد“ (اسم)، ”مُرد“ (فعل)بازیابی اطلاعات: دانستن مقوله نحوی کلمات می تواند به استخراج کلمات مهم در متن کمک کند.رفع ابهام معنایی: دانستن مقوله نحوی کلمات می تواند به رفع ابهام معنایی کلمه کمک کند.مثال: کلمه watch در انگلیسی و کلمه ”در“ در فارسیتجزیه نحوی (parsing): برای parsing پایین به بالا در ابتدا نیاز به تعیین مقوله نحوی کلمات داریم.

اسلاید 6: روشهاروش های کلی POS tagging:روش های مبتنی بر قاعده (rule based POS tagging)دیکشنری ----> tags قواعد +مجاور ----> tagروش های آماری (probabilistic/stochastic POS tagging)روش های ترکیبی (transformation-based POS tagging)

اسلاید 7: ارزیابیپيكره متني به دو بخش تقسيم مي شود:80-90% از پيكره براي آموزش (train)10-20% از پيكره براي آزمون (test)با استفاده از داده آموزش آمارهاي لازم استخراج مي گردد و سپس POS tagging برروي داده آزمون تست مي شود.تكنيك اعتبارسنجي متقابل 5 قسمتي:پيكره متني به K قسمت مساوي تقسيم مي شود.در هر مرحله از ارزيابي، يك بخش براي آزمون و K-1 بخش ديگر براي آموزش به كار مي رود.اين روند K بار تكرار مي گردد و درنهايت از نتايج ارزيابي K مرحله ميانگين گرفته مي شود.دقت POS tagging:

اسلاید 8: بخش دومپیاده سازی برچسب گذار زبان فارسی

اسلاید 9: ایجاد دیکشنریترکیب هر سه پیکره (آموزش ، تست و ارزیابی)نرمالسازی متنشمارش تگهای هر کلمه 167واردADJ 12واردNپر تکرار ترین برچسب به عنوان تگ پیشفرض

اسلاید 10: قواعدانواع قوانین TAG-1 TAG-2 TAG-3TAG-3  TAG-X when TAG-2 @ (-1) TAG-1 @ (-2)TAG-1  TAG-X when TAG-2 @ (+1) TAG-3 @ (+2)TAG-2  TAG-X when TAG-3 @ (+1) استفاده از قواعد قبلیساخت قواعد جدید

اسلاید 11: ایجاد قواعد جدیداستخراج سه گانه های داخل متنمحاسبه مجموع دفعات ظهور هر سه گانهبهگزارشخبرنگارمهردرگرگان،براساسPREPNNNPREPNPUNCPREPNباورهایدینیترکمن‌هادراینروزبرایپیامبراکرمNADJNPREPPREMNPREPNADJPREPNNNNNNNPREPNPREPNPREPNPUNCNPUNCPREPPUNCPREPNPREPNNNNADJNADJNADJNPREP...

اسلاید 12: ایجاد قواعد جدید (ادامه)دسته بندی و محاسبه درصد وقوع در هر دستهDJADVN32.75%DJADVPREP26.95%DJADVV15.37%DJADVDJ10.33%DJADVPRENUM4.03%DJADVADV3.27%DJADVPUNC2.27%DJADVSUBR2.02%DJADVPREM1.76%DJADVPR1.26%تبدیل سه گانه های کم تکرار به سه گانه های پر تکرارPR  N when ADV @ (-1) DJ @ (-2)PR  PREP when ADV @ (-1) DJ @ (-2)تست قواعدسه گانه های بیشتر از 20 درصدسه گانه های کمتر از 10 درصد

اسلاید 13: دسته بندی قواعدکلمه «سراسر»دوPRENUMNPOSNUMPREMدومPOSNUMNADJPRENUMراPOSTPPARTNPREPسرNPREPIDENADJسراسرNADJPREMADVعلامهNIDENADJNعلمیهADJNADJNکلاس تبدیل N به ADJکلاس تبدیل N به PREMکلاس تبدیل N به ADVN -> ADJ ifPOSNUM @ [-1] PR @ [-2]N -> ADJifPSUS @ [-1] PREM @ [-2]N -> ADJ ifPOSTP @ [-1] PRENUM @ [-2]. . .

اسلاید 14: بهبود عملکردافعال چند بخشی شناسایی فعل کمکی و ترکیب با فعل اصلیشناسایی کلمات ناشناخته= توجه به وندهاوندهای سازنده صفات نظیر: انگیز، گیر ، مند و ...وندهای صرف افعال: اند ، اید ، ایم و ...وندهای اسامی جمع: ان ، گان، ها...تگ پیشفرض = اسم مفرد

اسلاید 15: ارزیابی 

اسلاید 16: کارهای آتیتست قواعد و بهبود آنهاتوسعه برچسب گذار در لایه دومایجاد پارسر زبان فارسی

اسلاید 17: با سپاس از توجهتان