پیاده سازی مدل های مخفی مارکوف پیوسته همراه با قابلیت اعمال مدل زبانی، گرامر، روش های جستجو و قابلیت تطبیق مدل ها

پیاده سازی مدل های مخفی مارکوف پیوسته همراه با قابلیت اعمال مدل زبانی، گرامر، روش های جستجو و قابلیت تطبیق مدل ها

اسلاید 1: بنام خدادانشگاه صنعتي اميرکبيردانشکده مهندسي کامپيوتر و فناوري اطلاعاتپايان نامه کارشناسي گرايش مهندسي نرم افزار پياده سازي مدل هاي مخفي مارکوف پيوسته همراه با قابليت اعمال مدل زباني، گرامر، روشهاي جستجو و قابليت تطبيق مدل ها  نگارش:سبحان نادري پاريزي استاد راهنما:دکتر محمدمهدي همايونپوراسفند 1386

اسلاید 2: بازشناسي گفتار پردازش گفتارکاربردهاگفتار گسسته و پيوستهنگاهي به فرآيند بازشناسي گفتارگرفتن فايل صوتي و استخراج ويژگياستفاده از مدلهاي واحدهاي گفتاري (با فرض داشتن مدلهاي آموزش داده شده از قبل)استفاده از الگوريتم هاي جستجو و بازشناسي گفتار

اسلاید 3: مدل مخفي مارکوفروشي براي مدل کردن پديده هاي تصادفيمسئله گلوله ها و ظرف هامدل هاي مخفي مارکوف گسسته و پيوسته

اسلاید 4: مدل مخفي مارکوف (ادامه)پارامترهاي مدلاحتمال شروع (بردار π)احتمال انتقال (ماتريس A)احتمال مشاهدات (ماتريس B در حالت گسسته)هر مدل بصورت λ=(π, A, B)سه مسئله اساسي در مورد مدل مخفي مارکوفمحاسبه P(O|λ)پيدا کردن دنباله حالات بهينهپيدا کردن مقدار بهينه براي پارامترها

اسلاید 5: مدل مخفي مارکوف (ادامه)انواع توپولوژيمدل هاي پيوسته با مخلوط هاي گوسي متعددمقدار اوليه پارامترهاي مدل

اسلاید 6: تطبيق مدل هاي مخفي مارکوفهدف از تطبيقبازشناسي مستقل از گويندهبازشناسي وابسته به گويندهروش هاي تطبيقMLLR (Maximum Likelihood Linear Regression)MAP (Maximum A Posteriori)

اسلاید 7: مدل هاي زبانيتعريف مدل زبانيساختاري (کاهش فضاي جستجو)احتمالي (تخمين هزينه)کاربرد انواع مدل زباني درجستجوي واج هاN-gram واج هانحوه قرارگيري واج ها در کنار هم (CV, CVC, CVCC)جستجوي کلماتN-gram کلماتقواعد نحوي زبانRECFG

اسلاید 8: مسئله جستجوانواع روش هاي جستجوي قابل استفاده در بازشناسي گفتارجستجوي جامع (کور)جستجوي A*جستجوي شعاعيامکان تخمين مسير باقيمانده هميشه وجود نداردکاهش زمان جستجو از حالت نمايي ( ) به w×bجستجوي ويتربي همگام با زمان شعاعيويتربيهمگام با زمانشعاعي

اسلاید 9: روش هاي استفاده شدهاستخراج بردارهاي ويژگي توسط HTKمدل هاي مخفي مارکوفبراي هر واج يک مدل سه حالته با 16 mixture در هر حالتتخمين اوليه احتمال مشاهدات (پارامترهاي توزيع هاي گوسي)استفاده از الگوريتم ويتربي و توزيع مشاهدات بين حالت هااستفاده از الگوريتم Splitting LBGساير پارامترهاي مدل مقدار تصادفي مي گيرند

اسلاید 10: روش هاي استفاده شده (آموزش مدل ها)استخراج و جمع آوري نمونه هاي آموزشيآموزش به روش بام-ولشاستفاده از الگوريتم هاي forward و backwardآموزش به روش ويتربياعمال ويتربي روي همه نمونه هاي آموزشيپيدا کردن خوشه بندي بهينه

اسلاید 11: روش هاي استفاده شده (جستجوي واج ها)جستجوي دنباله واجي بهينهورودي و خروجيمدل هاي آموزش داده شده براي هر واجروش پوياي دولايه يک مدل مرجع براي هر واجاستفاده از الگوريتم DTW (لايه اول)استفاده از جستجوي پوياروش استفاده شدهاستفاده از مدل هاي مخفي مارکوف بجاي مدل مرجعسه انشعاب در هر حالت از فضاي جستجوماندن در حالت قبلرفتن به حالت بعديشروع بازشناسي يک واج جديدجستجوي شعاعي

اسلاید 12: روش هاي استفاده شده (جستجوي کلمات)جستجوي دنباله کلماتورودي، خروجي، لغتنامه و گرامرروشهاي قبلي: جستجوي جامع، شعاعي، A* و ...روش بکار رفته ويتربي شعاعي همگام با زمان استاطلاعات واج نويسي بجاي مدل کلماتماهيتاً همگام با زمان نيستپارامترهاي هر حالت جستجوزمان (شماره فريم جاري از دنباله واج ها)آخرين کلمه دنباله بازشناسي شده فعليهزينه مسير جاري و اطلاعات مربوط به طول مسير

اسلاید 13: روش هاي استفاده شده (جستجوي کلمات)الگوريتم جستجوي کلماتليستي به طول 20 از صف ها به نام OpenList (يا OL) داريمحالت شروع: (t=0, PW=SOS)PW:Previous Word , SOS:Start Of Sentenceحالت شروع را به OL[1] اضافه مي کنيمتا وقتي که دنباله واجي به پايان نرسيده:بسط همه عناصر درون OL[1]:عنصر سر صف OL[1] را حذف کرده و با توجه به گرامر مسير جستجوي آنرا بسط مي دهيم  حاصل کار در اين مرحله تعدادي کلمه جديد استيافتن بهترين انطباق براي هر کلمه جديدمحاسبه هزينه حالات جستجوي جديد و افزودن اين حالات به صف مناسب در آرايه OLانتقال عناصر آرايه OL به بالاهرس کردن عناصر صف OL[1]

اسلاید 14: روش هاي استفاده شده (جستجوي کلمات)در الگوريتم قبل از ويژگي هاي اکثر روشهاي جستجو استفاده شدويتربيپوياسريع (جستجوي شعاعي)همگامي با زمان

اسلاید 15: مدل هاي زباني بکار رفتهدر جستجوي دنباله واجياطلاعات bigram و همچنين trigram واج هادر جستجوي دنباله کلماتBigram کلماتگرامر ساختاري مستقل از متننهاد + مسند + فعلفاعل + فعلفاعل يا نهاد + حرف اضافه + متمم + فعلالبته هر واحد (مثل نهاد) معرف يک گروه (گروه اسمي) است که مي تواند اضافاتي هم داشته باشد

اسلاید 16: ابزارهاي ارائه شدهLISSHAdaptLISSHDiffLISSHFTestLISSHInitLISSHRestLISSHResultLISSHSExtractLISSHViteLISSHVTestLISSHVTrainLISSHWSearch

اسلاید 17: تست برنامهسيستمبازشناسیگفتارمااشتباهکارنميکند<s> NonLing pau s i s t a n e b aa r sh a b aa s t i gs o f t aa r m aa h pau e sh t e b aa h kh aa r e m i NonLing k2 o n a pau Cost=730.443<START> system e bazshenasi o goftar o maa eshtebah kar_nemikonad <START> rrrrRR r rrRrRrrrI I RDDrrrrr I rr Drrrrrrr RrrIrrrrrrr <s> sistan e baarshanaas _ tigsoftaar _ maa heshtebaah khaaremik2ona------------------------------------------------------------------------------------------------------Cost=730.443<START> system e bazshenasi e goftar e maa eshtebah kar_nemikonad <START> rrrrRR r rrRrRrrrI I RDDrrrrr I rr Drrrrrrr RrrIrrrrrrr <s> sistan e baarshanaas _ tigsoftaar _ maa heshtebaah khaaremik2ona------------------------------------------------------------------------------------------------------Cost=762.625<START> system e bazshenasi soni o goftar o maa o eshtebah kar_nemikonad <START> rrrrRR r rrRrRrrrI RIIr R Irrrrr I rr I Drrrrrrr RrrIrrrrrrr <s> sistan e baarshanaas ti gs oftaar _ maa _ heshtebaah khaaremik2ona-----------------------------------------------------------------------------------------------------Cost=762.625<START> system e bazshenasi asli o goftar o maa o eshtebah kar_nemikonad <START> rrrrRR r rrRrRrrrI IRIr R Irrrrr I rr I Drrrrrrr RrrIrrrrrrr <s> sistan e baarshanaas ti gs oftaar _ maa _ heshtebaah khaaremik2ona-----------------------------------------------------------------------------------------------------

اسلاید 18: پاسخگويي به سؤالاتبا تشکر از حوصله شما