صفحه 1:
مدلی برای تحلیل و تولید متن وبلاگ
و(
زا
استاد مشاور: دکتر عزمی
بهمن ۱۳۸۵
ابا هنن
صفحه 2:
پدیدههای زبانی قرن حاضر
RFs UI Aca Neer pir perp me ear Creu nC كدر ©
9 تا
و ار cay call Cea ately ey
- يونىكد
يدت
- پیدایش نرمافزارهای محلیشده
۰ افزايش سریع حجم Gools 0-7 0 گفتاری ا
aaa a Clb ene 352 ROD LS cree co al يل
- با افزایش تعداد نویسههای پیام کوتاه به ۸۰۰ نویسه پنج برابر خواهد شد
ابا هنن
صفحه 3:
0 eee)
* تآثیر روی واژگان و ویژگیهای ساختی زبانهای مختلف
EEN ent ae nen ea ا لت
- منبع مهم تجزیه و تحلیل زبانی
© زياد شدن اهميت يردازش دادههاى زبانى براى دستيابى به سیستمهای
كت فنآورى obs
ا د
- زیل شناسی محاسباتی بل
صفحه 4:
(NLP) eb glh3 يردازش
* زیرشاخهی هوش مصنوعی و زبانشناسی
* مسألهُ توليد و درك زبانهاى طبيعى انسان: انكليسى و ...
- سيستمهاى توليد زبان طبيعى
« اطلاعات 06 دادهها -> زبان طبيعى انسان
- سیستمهای درک زبان طبیعی
٠ زبان طبيعى توليدشده توسط انسان -+ نمايش فرمال قابل استفاده براى كامييوتر
صفحه 5:
ere He) SESS Lee ne lo
0
2323700000 Ue per ere reo or ee
متن به گفتار *
نشانههای آوایی به گفتار «
ساير اشكال نمايش زبانشناسى به كفتار ©
- كاربردها
« كودكان و دسترسىيذيرى براى كسانى كه مشكل خواندن دارند
ee Ce odie
Be Ceo Oe Ds SOS SOIL
5
صفحه 6:
مسائل اصلی..
۳ ٠
1 ا ا ig tee -
تبدیل گفتار به متن (از جمله در کاربردهای دسترسیپذیری)
کاربردهایی مثل شمارهگیری خودکار تفن همراه
Teer ا ل ا we ea 1
صفحه 7:
pater
* بازیابی اطلاعات
- جستوجو به دنبال اطلاعات در مدارك و بروندهها
- جستوجو به دنبال خود مدارك و پروندهها
a جستوجو به دنبال اطلاعات متا در مورد مدارك
- جستوجو در ۳ 0۳
> و..
صفحه 8:
مسائل اصلی...
پاسخ به سوال
- نوع خاصی بازیابی اطلاعات
- به عنوان گام بعدی پس از موتورهای جستوجو
- دونوع كك
"۳
- سؤالات شكل تعربفثشده دارند
- جستوجو در oll داده است
۹(
ee ee ere hee
- جستوجو در شبکه اینترنت و با متابع زیاد
صفحه 9:
pater
ات
غاطیاب و ویر استار خودکار
ee
د تور ۲
- ويرايش متون در جاب و نشر
- كمككننده نوشئن/خواندن زبان خارجى
صفحه 10:
مسائل اصلی...
* تولید زبان طبیعی
- برنامهدهاى ساده مثل طالعبینی ۳ 510000 اللي
5 برنامههاى بيجيده مراحل بيشترى دارند:
« برنامهءريزى هوش مصنوعى براى مثنى كه قرار است توليد شود
ا
« مربوط كردن كلمات با مفاهيم
« مسائل مربوط به نحو (سينتكس)» ريختشناسى و دستور (كرامر)
» مسائل مربوط به نقطهكذارى و رسمالخط
صفحه 11:
روشهای اصلی در علوم شناختی
و 1
۳
(rational or formalist approach) ais b روش تكوينى -
(empirical approach) .2>5 (39) -
» در روش تكوينى به دنبال اطلاعات تحليلى هستيم كه بدون استفاده از
دادههای تجربی به دست ار
و |
CeCe Se err a eo eS STO L Ss ie
- در سالهاى اخير روش تجربى بين دانشمندان اهميت زيادى بيدا كرده است
es
صفحه 12:
تقش پیکره
© مهمترین ابزار مورد نیاز برای حل مسائل مختلف به روش تجربی در حیطه
پردازش زبان طبیعی وجود پیکره زبانی بزرگ است
2 TCS ETE
اینترنت وجود دارد
٩ «وبلاگ یک قالب روزنامهنگاری برخط است که به ترتیب زمانی عکس
م ا ا ا Pere
زندكى روزمره. مقالات. نظرات ديكران: و ييوند به صفحات وب است.»
es
صفحه 13:
راهحلهاى بيشين براى مسائل كلاسيك
rs 4 + 5 ع 3 ۰
يردازش زبان و مسائل خاص زبان فارسى
* مشکلات فنی و ساختاری
- قالبهاى كوناكون يروندههاى كامييوترى
CSI ل ل ا WA SEINE
- حتى 5000 ey CO) 2 مختلف So فارسی ۳ پشتیبانی ۳۳۳۹۳
« تبديل اين قالبها به تصوير براى سازكارى بيشتر
- برترى قالب 50111 (از جمله صفحات وب)
« قالب استاندارد -> امكان استفاده از تجزيهكرهاى استاندارد
ااا ا See
« تعداد زياد كاربران كه هر روز به دامنه آنها افزوده مىشود
* تواناییها و امکانات زیاد: قابلیت نمایش و چاپ
ال ا ل BESTE Se Yon ern
es
صفحه 14:
ويزكى ها و نقاط تمايز وبلاك با ساير
ييكرههاى زبانى
ا لت
* مفاهيم و موضوعات محدود و تكرارى
eer ل ا ات Teo iy
0 ا
* استفاده از سیستمها و نرمافزارهای گوناگون برای حروفچینی
* کد گذاریهای غیراستاندارد و مختلف
00 see
eee NSH 6
es
صفحه 15:
استاندارد خط در Reels
نویسه: کوچکترین واحد نوشته
- نویسهٌ «ی» شکلهای اول, وسط. آخر تنهاء آخر چسبان دارد:
۲ تب we
1
جندين كدكذارى مختلف براى درب ركرفتن sla do aa ۱[
0 هم تعارض هم داشتند
تحريف داددها هنكام عبور از محط هاى مختلف
صفحه 16:
استاندارد پونیکد
كد يكتا به هر نويسه؛ مستقل از محيطء برنامه. زبان
ا ا ل ل
مورد قبول ييشتازان صنعت كامبيوتر
استاندارد ۳۳۴۲ موسسه استاندارد و تحقیقات صنعتی ایران
صفحه 17:
yoy eben,
Peep ice eae Recon tC rere eer aa)
ک ك -
CG =
۴۵۶ -
* فاطه"بیعرض
00-2
- خانهها
© اتصال مجازى
-ه .اش.
5
صفحه 18:
ee ار
ا 0
pe ee استخراج e
پیشپردازش *
ات ات
تولید متن ۶
* ارزیابی متن تولیدشده
0 e
5
صفحه 19:
جمعآوری پیکره
© روش مطلوب: روشى كه تا جاى ممكن وبلاكهاى تصادفى رااز روى وب
بارگیری كند
ف استفاده از کارگزار پینگ
کر ee ee
- در بازهدهاى زمانى معين فهرست وبلاكهاى بهروزشده را باركيرى مى كنيم
ب ف ار 2 ل ل الك 1 اك خرس رت
© عذا كردن ولا كاكاى فارسى: استفات از روش مكاشفهاى
- مجمهه نويسههاى خط فارسى
- تمييز از صفحات عربىء اردوء يشتوء كردى. كشميرى
es
صفحه 20:
استخراج متن خام
نا
0
© تشخيص أشغال از نظر موتور يردازش زبان طبيعى
۳
carer eeny etn ك2
رات
۳
ا م
5
صفحه 21:
استخراج متن خام
© ببذا كردن متن هر مطلب و جذا كردن آن از
- عنوان صفحه
ellis giles =
- حاشيدها
- شرح ييوندها
و
© نياز به روش جداكانه براى هر سرويس دهنده. و حتى هر قالب طراحى شده
* هدف: بهینه کردن جوابهای درست. بیتوجه به مطلب آشغال تشخیص
ل ۱0
ابا هنن
صفحه 22:
بيش بردازش
ا ا ا ا ل ل ل
9 حذف نويسه كشيده
[۱9
ال ا لل
»© حذف كن و تشديد
حذف عاز آخر كلماتى مثل شهداء
© يكنواخت كردن ارقام
500 ۰
ابا هنن
صفحه 23:
بيش بردازش
0 کردن فاصلهی مجازی در رشتههای د EUW evecare ee
Car 0 a AI an a SPD a Oe a OP
می روند >> میروند -
حذف فاصله و اضافه كردن فاصلدى مجازى در رشتههاى « ها»؛ «
هاى»؛ هايى»» ١ هايم»» ١ هايثت»»؛ و...
جسباندن «تر» و «ترين» به آخر كلمات
EYP SU LDR WERE IC
صفحه 24:
ats. nn
تعریف گرافیکی واژه -» رسمالخطهای -
می توان *
شده است e
و شدهام
دربرابرباد ٠
شکلهای مختلف نگارش -
ا ا
پاییز: پائیز *
صفحه 25:
oo
ojlg
* نوع خاص متن مورد بررسی
SoCo Saco ae لس
Paice
- این لینکو» منو برد خونه
- منودوستام
- خودمونء جشمهاىشانء بهشء بداشء براتون
لك
- واالی اووروه
صفحه 26:
رتبه ابسامد
OW Sly ۰ ا mr تعداد
0
© قانون زييف:
ات ا 0 اد
۸
10134
14178
(244
17655
20406
20951
20360
22563
21920
:۵(
0(
4726
4311
هرود
3401
2993
2545
2507
292
بم زم بن لي صن ده دك مه فض
فم
o
صفحه 27:
>
o
2
o
5
>
Oo
=
لا
1
100000
صفحه 28:
تولید متن
فرض . رفتار کذسته راهتمای حویی برای جیری اشت كه در اده ات
خواهد داد > مدل باثبات است
۱۳ ۳ بعدى
- تلاش براى تقريب زدن تابع احتمال زير
۱۹۹ eee
بريايه اينكه مقدار زيادى به متنها نكاه كردهايم؛ تخمينى از احتمال رخداد
دنبالههای مشخص از وازدها داريم
صفحه 29:
00 ا 50053
|
acon tee ie 0
ل ا ا ا لك
« مدل #-نكاشتى
- هر دنباله به طول 2 از وازكان را يك 1# تكاشت مي ناهين
* میخواهیم 7لهای 77-نگاشت هایمان نسبتاً بزرگ باشند
eee) I cence eve 7 ال
- کوچک شدن ظرفهای نمونه
ابا هنن
صفحه 30:
روش تولید
9 بررسی فرایند تولید با مدل 71-نگاشتی با 7/های برابر ۰۰ ۰۱ ۲ و ۳
Sa gewesr rere 0 ۱/۱
© استفاده از قانون لايلاس براى قرار دادن يى احتمال كوجى (غيرقابل
تنظیم) برای پیشامدهای تاکنونمشاهدهنشده
9
۷+
Lap
(wy w,)=
صفحه 31:
SS
© نكاه به اعداد از ديد زيانشناختى
- مغرب در سه شنبه شانزدهم خرداد ١188 ساعت 5١:٠١
© با وجود بىقاعدكىهاى نحوى دنبالههاى نسبتاً طولانى با ساخت نحوى قابل
ا ل 0
- مكر در هر ثانيه جند كلمه مىتواند از ميان لبان بيرون بريزيم تا بيانكر احساس درون
ae ie ا ل ل
صفحه 32:
توسعه طرح
9 استفاده از دادگان فارسی
ا ا ل ا ا ل
٩ استفاده از تحلیل گر مورفولوژیک تغییریافته برای اين نوع خاص پیکره
* مجت سازی با یک نرمافزار انتشار وبلاگ و انتشار برخط مطالب
© خواندن نظرات ديكران و توليد ياسخ مناسب
© انتشار مطلب جديد در باو هاى زمانى معقول متناسب با تعداد
بازديدكنندههاى صفحه و محتواى كامنتها
es
صفحه 33:
توسعه طرح
ل 5 لطر كس شر
|
DNC Cree 7a eal res pepe ل |
مربوط به وقايع روز
| TerTCtr On TE Cc Greir 11101 MPF Wy Meee ICE IC) Evert
به کارهایی که یک فرد هوشمند وبلاگنویس انجام میدهد
صفحه 34:
yt se eer) ber) nl oe كر
1 ا ا nec y
شدن صف دیگر 76۶ -۱-۷-۴قانون زییف اگر جنین ترکیباتی لزوماً فد به بخش روی جنبههای مختلف
ا ال ل رن
کم InUeC mor) ا Fern] CC reer BONE Pet 87 0] (by Bien CO CHNCS IEEE صرفا محاسانی
نگریست از رشتههای « و پشت سر هم که بر آیندهای یک راه حل به کاررفته در انتهای پاراگراف بالا
بسامد در بازههای ۱۰۰۰۰ کلمهای بشماریم. تعداد وبلاگهای بار گیری شده حذف حرکتها و دستوری با
تشخیص داد. این منظور. توجه خود تنوین حذف فاصله قبل و سوم به خوبی از همهی علائم نقطه گذاری
را برمى شماريم و فهرست واذكان
صفحه 35:
تس
on
باد دانه را يكرفت. نوشته دوست داره؟ بايدبكم من و عشكمه...!!!
وقتى حرفهاى مرا بر خواهيم خنديد .بيا بى جواب تمام خستكيهر روز
ده نفربهت كفتن هيج كس دوست داشتنى ترين وازه براى ايجاد محيط بدون
انديشه و به هرجا كه خيلى بى تودنيابامن جه آرزو وهزار روياى بى
تاب وتوان وبال ويرسوخته كنج قفس نمانده باشد و مسدود كننده هستيم
سید انیم نا سلامتى خحودت از عشقت پاسخ ار اجازه دادى كه قلبش
به صرفه است و آهسته بی رحم دردهای زندگی ۰ مات میدهد افرادی که
نكّاه كن . هر زمان درازاى هر آينه من اكر با همه جدايى هاست و شش
دفتر مثنوى او روياهاى بجه گانه ات ۰ ميخواهم بكويم خيلى دوستت
So ora -مواظب خودت رب ايران جطوره ؟؟؟ تنهايى و
گناهم را داری با گریه های متنوعی وجود من نادرجاغ روخیلی دوسش
دارم كله از امشب بسوزم جونكه ميدانم آتش آن آشيان دارند. جرا
مثبت بودن مثل ماه شب را تنها هربار كه دعاكنيدمنواون به تونادرم
نوشته شده بايد بدست خودم مىبينم با تمام انديشه هايت سر بكشم
ءجلوتر ازسا قام نبودهای تو شدم پس میج خظه ای هم نبود شگنت بهر
سخره شاه حرون خر كيرى بر عهده دارد.كم خوابى ... امروز و خاموشم
مكن دركنارت نيستم امافراموشم مكن نوشته دوست ندارند ؟ سلام..من
كاميار همون راسكال از ميزان اشتها را امتحان كردم هء آزاد و ساعت
مرآ ات ال ند جاكزة الككرن الك كلنك کنبه حایزه بخیریر
لينك ثايت ( ۱ : هی دنا ناه میکنی
ات اسان آت سب سر
. کویرم خشک و آرامش با
اميد تو بمانم و آفرینش صور خیال »از