مقدمه ای بر پردازش زبان طبیعی (NLP)
اسلاید 1: بِسمِ اللَّهِ الرَّحمنِ الرَّحِیمِNLPدانشگاه پيام نور گنبد كاوس 87-88
اسلاید 2: مقدمه اي بر پردازش زبان طبيعي
اسلاید 3: 3نکات مورد بحثهوش مصنوعيپردازش زبان طبيعيتاريخچه NLPکاربرد هاي NLP
اسلاید 4: 4هوش مصنوعينحوه پردازش فکر را در ماشين نشان مي دهد
اسلاید 5: 5اهداف AIساخت ماشين هاي هوشمندتر (هدف اوليه)ساخت ماشين هاي مفيدتر (هدف کاربردي)
اسلاید 6: 6علائم هوشمندييادگيري يا از طريق تجربهرفع ابهام استفاده از استدلال براي حل مسائلفهم و استنباط تشخيص ارتباط عناصر مختلف...
اسلاید 7: 7تست تورينگفرض مي كنيم در يك اتاق يك انسان و يك سيستم قرار دارند . از هر دو سوال مشابهي پرسيده مي شود اگر از روي جوابها نتوانيم تشخيص دهيم كه كداميك انسان و كداميك سيستم است در اين حالت سيستم هوشمندانه عمل كرده است.دليلي ندارد كه جوابها مشابه باشند.ممكن است جوابها هم اشتباه باشند.artificial intelligencenatural intelligenceinterrogatorAB
اسلاید 8: 8زمينه هاي هوش مصنوعيسيستم هاي خبرهپردازش زبان طبيعيپردازش گفتاررباتيکبينايي ماشينمحاسبات تکامليو ...
اسلاید 9: 9زبان طبيعيزبان طبيعي زباني است که در تعاملات اجتماعي روز مره ما با استفاده از آن مي نويسيم و صحبت مي کنيمزبان هاي طبيعي مختلف و زيادي وجود دارندممکن است که فرم گفتاري و نوشتاري زبان ها متفات باشند و همچنين از هم مستقل باشند.سيستم هايي از واژگان قوائد و معاني که مي توانند ثبت ومشاهده شوند وجود دارندNLP اين ادعا را دارد که با خودکار کردن پردازش زبان سيستم هاي مفيدي بر پايه اين توصيفات بوجود آورد.
اسلاید 10: 10پردازش زبان طبيعيNLP در ارتباط با توسعه مدل هاي محاسباتي، از ديدگاه پردازش زبان مي باشد.- خواندن و تفسير يک کتاب درسينوشتن محاوره ترجمه سند.-جستجوي اطلاعات مورد نيازاين مدل ها براي ايجاد برنامه هاي کامپيوتري به منظور انجام عمليات پردازش زبان و براي فهم بهتر مورد استفاده قرار مي گيرند
اسلاید 11: 11پردازش زبان طبيعيهدف از پردازش زبان طبيعي اين است که کامپيوترها از زبان طبيعي به عنوان ورودي و خروجي استفاده نمايند.
اسلاید 12: 12ساير عناوينعناوين متداول :پردازش خودکار زبانزبان شناسي محاسباتيفهم زبان طبيعي
اسلاید 13: 13زبان شناسي محاسباتيکاربرد کامپيوتر ها براي مطالعه علمي زبان انسان مطالعه در زمينه اينکه انسان ها چطور زبان را توليد کرده و مي فهمنددر زمينه زبان شناسي توليدي و قبل ازآن شامل مطالعه زبان رسمي و زبان هاي برنامه نويسي مي شد.کامپيوتر به عنوان يک ابزار در مدل هايي که قابليت توسعه و ارزيابي دارند، استفاده مي شد. به عنوان مثال پياده سازي تئوري ”يادگيري زبان توسط نوزاد“
اسلاید 14: 14از 1957 تا 1970: NLP تاريخچهاولين برنامه کامل تشخيص NLP يک سيستم جستجوي لغت در فرهنگ لغت بودکه در کالج Birkbeck در لندن در سال 1948 ايجاد شد.NLP از 1957 تا 1970:مبتني بر گرامر:استفاده از فرمال گرامر به عنوان پايه پردازش زبان و سيستمهاي يادگيري (Chomskey,Harris,Kaplan,Peters)مبتني بر منطق:استفاده از منطق و برنامه نويسي منطق به منظور مشخص کردن syntax و استنتاج معنايي. (Minskey,Schunk,Winograd,Colmerauer,Kay)فهم زبان در حقيقت نوعي استنتاج گرامري بود.
اسلاید 15: 15از 1957 تا 1970: NLP تاريخچهمدلهاي آماري:استفاده از روشهاي احتمالاتي براي بازشناسي گفتار (Fodor,Bever,Garrett,Bresnan,Weinberg)اولين مدل فيزيکي-زباني قابل تست براي يادگيري زبان و فهم آن پيشنهاد شد.
اسلاید 16: 16از 1970 تا 1980: NLP تاريخچهاستفاده از شبکه هاي ATNCase Grammar: حل يکي از مسائل از ترجمه ماشينينمايش معنايي:-schank و همکارانش تئوري وابستگي معنايي،که تئوريي دربيان زبان درواژه هاي اوليه معنايي است راارائه دادند. - ارائه نظريه شبکه هاي مفهومي که در فرم هاي مختلف براي ارائه دانش در بسياري از سيستم ها استفاده مي شد.- WILIIAM WOODSاز نظريه مفاهيم رويه اي براي عمل کردن به عنوان يک ارائه مياني بين يک سيستم پردازش زبان و يک سيستم پايگاه داده استفاده مي کرد.
اسلاید 17: 17از 1970 تا 1980: NLP تاريخچهSHRDIULUNAR: يک سيستم واسط پايگاه داده که از مفاهيم رويه اي و ATNاستفاده مي کرد.LIFER/LADDER : يکي از موثر ترين سيستم هاي NLP که به عنوان يک واسط زبان طبيعي براي يک پايگاه داده از اطلاعات در باره کشتي هاي ارتش آمريکا طراحي شده بود.
اسلاید 18: 18از 1980 تا 1990: NLP تاريخچهNLP از 1980 تا 1990 :- گرامر رسمي (Grammar Formalisms) NLP از 1990 تا حال:- چند زباني وچندبعدي(Multilinguality and Multimodality )
اسلاید 19: 19NLPکاربرد هايکاربرد ها مي توانند به راه هاي مختلفي دسته بندي شوند.به عنوان مثال: وسيله/بعد،عمق تحليلها ،درجه تعاملات.- کاربرد هاي بر پايه متن.- فهم زبان طبيعي.- سيستم هاي مکالمه.- چند بعدي.
اسلاید 20: 20کاربرد هاي بر پايه متنپردازش متون نوشته شده مثل،کتابها،اخبار،مقالات،گزارش ها- يافتن سند مناسب در عنوان هاي مشخص از يک پايگاه داده متني.- استخراج اطلاعات از پيام ها مقالات،صفحات وب و ...- ترجمه سند از يک زبان به زبان ديگر.تلخيص متن. * نکته: همه اين کاربرد ها نيازمند NLP نيستند. تکنيک هايي که بر پايه کلمات کليدي هستند مي توانند براي شناخت نواحي موضوعي خاص موفق باشند.
اسلاید 21: 21زبان طبيعي فهمنيازمند يک سطح عميق از آناليز هستند: ”براي من پيدا کن همه مقالات در رابطه تصاد فات ماشين شامل بيش از دو ماشين در Malta در نيمه اول 2001“اينجا سيستم بايد اطلاعات کافي را براي مشخص کردن اينکه آيا مقاله ها ملاک تعريف شده اي به وسيله پرسش معرفي مي کنند، استخراج کند.يک تشخيص قاطع از يک سيستم ،فهم اين است که آن، ارائه هاي اطلاعاتي که مي توانند براي واسط هاي بعدي مورد استفاده قرار بگيرند مي تواند محاسبه کند. - يک سوال قاطع براي يک سيستم NLP اين است که چطور هوشمندي زيادي براي بدست آوردن هدف سيستم لازم است .
اسلاید 22: 22کاربرد هاي بر پايه مکالمهارتباط بين ماشين وانسان را شامل مي شود سيستم پردازش پايگاه داده NLسرويس هاي مشتري خودکار مثل سرويس هاي بانکيسيستم حل مسئله NL عموميبرخي از تفاوت هاي سيستم هاي متني و مکالمه اي:زبان هاي استفاده شده زياد رسمي نيستنداستفاده از شرح تصديق هاي زير مکالمه اي
اسلاید 23: 23کاربرد هاي چند بعديشامل دو يا بيش از دو بعد ارتباطي است:متنگفتاراشارهتصوير توليد سند هاي چند بعديسيستم هاي ترجمه گفتاريسيستم هاي مکالمه گفتاريگفتار متن متن گفتار
اسلاید 24: 24شناسايي گفتار زبان گفتاري شناسايي مي شود و مثلا در سيستمهاي ديکته ، به متن ،يا در سيستم هاي کنترل روبات ، به فرامين، يا به بازنمود دروني ديگري ، تبديل مي شود.
اسلاید 25: 25ترکيب گفتاراداها (Utterance) در زبان گفتاري از متن (سيستم هاي متن – به – گفتار ) يا از بازنمودهاي دروني لغات يا جملات ( سيستم هاي مفهوم – به – گفتار) توليد مي شوند.
اسلاید 26: 26مقوله بندي متن اين تکنولوژي متون را به مقولات اختصاص مي دهد. متون ممکن است به بيش از يک مقوله متعلق باشند، مقوله ها ممکن است حاوي مقولات ديگري باشند.تصفيه سازي حالت خاصي از مقوله بندي داراي تنها دو مقوله است.
اسلاید 27: 27تلخيص متنمربوط ترين بخش هاي يک متن به صورت خلاصه استخراج مي شوند . اين کار به طول و درازاي مورد نياز خلاصه ها بستگي دارد. در صورتي که لازم باشد که خلاصه به يک پرسش معين مختص باشد ، تلخيص سخت تر است.
اسلاید 28: 28نمايه سازي متن به عنوان پيش شرطي براي بازيابي سند ، متون در يک پايگاه داده اي نمايه سازي شده ذخيره مي شوند. معمولا متن براي همۀ شکلهاي کلمه يا – بعد از شرح و تفسير براي همۀ کلمات نمايه مي شود. گاهي اوقات نمايه سازي با مقوله بندي و تلخيص ترکيب مي شود .
اسلاید 29: 29بازيابي متن متون از يک پايگاه داده اي که بيشتر با يک پرسش يا سند معين مطابقت مي کند ، بازيابي مي شوند . اسناد مورد نظر با توجه به مناسبت مورد انتظارشان مرتب مي شوند . نمايه سازي، مقوله بندي، تلخيص و بازيابي اغلب تحت اصطلاح بازيابي اطلاعات قرار مي گيرند.
اسلاید 30: 30استخراج اطلاعات تکه هاي اطلاعاتي مربوط ومناسب اطلاعات کشف و براي استخراج نشان دار مي شوند: قطعات استخراج شده مي توانند به شکل هاي ذيل باشند: موضوع ، هويت هاي با نام از قبيل اسامي شرکت ، مکان يا شخص ، رابطه هاي ساده از قبيل قيمتها ، مقاصد، کارکردها و يا رابطه هاي پيچيده ازقبيل شرح دادن تصادفات ، ادغام شرکتها يا مسابقات فوتبال .
اسلاید 31: 31ترکيب داده ها و استخراج داده هاي متن قطعات استخراج شده اطلاعات از چندين منبع در يک پايگاه داده اي ترکيب مي شوند. ممکن است مناسباتي که از قبل تشخيص داده نشده اند ، کشف شوند.
اسلاید 32: 32پاسخ به پرسش پرسشهاي زبان طبيعي براي دسترسي به اطلاعات در پايگاه داده اي مورد استفاده قرار مي گيرند. پايگاه داده اي ممکن است مبناي داده هاي ساختاري شده يا مخزني از ستون ديجيتال باشد که در آن بخش هاي معين به عنوان پاسخ هاي بالقوه نشان دار شده اند.
اسلاید 33: 33ايجاد گزارش گزارش به زبان طبيعي ايجاد مي شود که محتواي اساسي پايگاه داده اي يا تغييرات آن را شرح مي دهد. گزارش مي تواند حاوي اعداد جمع شده ، حداکثر، حداقل و بنيادي ترين تغييرات باشد.
اسلاید 34: 34تکنولوژي هاي ترجمه تکنولوژي هايي که متون را ترجمه مي کنند يا به مترجمان کمک مي کنند . ترجمه خودکاريا ترجمه ماشيني خوانده مي شود . حافظه هاي ترجمه از مقادير بزرگي متن همراه با ترجمه هاي موجود براي دنبال کردن موثر ترجمه هاي احتمالي کلمات ، عبارات و جملات استفاده مي کنند.
اسلاید 35: 35
اسلاید 36: 36طبقه بندي زبانهاي جهان
اسلاید 37: 37طبقه بندي زبانهاي جهان
اسلاید 38: 38طبقه بندي زبانهاي جهان
اسلاید 39: 39طبقه بندي زبانهاي جهان
اسلاید 40: 40تهيه كننده : امين مارامائي دانشجوي رشته IT
نقد و بررسی ها
هیچ نظری برای این پاورپوینت نوشته نشده است.