سازگاری فرايندهای يادگيری

صفحه 1:
دانشكاه امير کبیر دانشكده مهندسى كامييوتر و فناورى اطلاعات سازكارى فرايندهاى يادكيرى ‎Consistency of Learning‏ ‎Processes‏ ارائه دهنده: الهام باوفای حقیقی استاد درس: آقای دکتر شیری 

صفحه 2:
معد مه همگرایی آنتروپی مجموعه ای از توابع شروط همگرایی تثورى غير قابل رد كردن ضميمه (تعاريف و بحث هاى امارى) 

صفحه 3:
‎nate‏ افد چه زمانی می توان همزمان با ‏.حداقل کردن ربسک مشاهدات ریسک واقعی را نیز کم کرد؟ ‎Remp (ae) ‎ 

صفحه 4:
fl vitae 588 ‏تعریف سازگاری‎ é 1 ‏ریسک (خطای) مشاهدات ۰ (۵):6 2 چ < مسب‎ t&1 ۳. 5 ۳ Ria) Ee dof R(a) ‏ریسک (خطای) واقعی‎ ۹ ‏20)مسماژ‎ > Ria) Rep (ee 

صفحه 5:
88 موسورى .لظ انواع سازكارى .ءادا 2۷۷1۵1 ‏نسخه غیر جد(896)‎ (non trivial cage}> i 4 9 inf Q(z,a) < ۵) Ve 

صفحه 6:
سس هو سا ...ادامه انواع سازگاری (trivial ‏نسخه غير جديل©25©‎ Son trivial case} ‏نسخه‎ ‎A(e} = {a: [ eeoare) < ‏به‎ ۰ A} ۰ P ‏هون یز‎ 5 Remo(@) foo adie) Ra) non trivially consistemmconsistent هام باوفا 

صفحه 7:
همکر ایی ‎Ale)‏ ۳ تن ‎ait‏ A(c) = {a: [ eeoarey < ‏به‎ 6 ۸( نت سس _ همگیلیی ی کنو خندو طرفه - > 0, Ve >0 f ate,avar( 2( ‏هر‎ lim 20 #00 

صفحه 8:
ه28 آنتروپی مجموعه از توابع توابع جداكننده (1220162101) ‎aca‏ 600 ..ءادامه ‎Sample Set:2,...,2¢ ‏مر ...)2۷۵ تن ‏به چند طریق مخت استفاده از توابع دسته بندی های 0 یک مجموعه از نمو ‎ ‎ 

صفحه 9:
آنتروپی مجموعه از توابع ‎(Indicator) exssto> aly‏ ...ادامه ۶ * Random Entropy: H(z, ‏زر هروه‎ In NA(z,,... +e) 4 Pr HAS) = Ein N4(21,...,20) > 8 6 افزایش آنتروپی نشاندهنده تعدد در تصمیم گیری های مختلف و توانمندی در خرد کردن مجموعه نمونه ها به ءصورت های دلخواه است 

صفحه 10:
ه28 آنتروپی مجموعه از توابع ‎ga‏ ‏توابع حقيقى .ءادا A$ Q(z,a) < B gla) = (Q(41,@),...,Q(z0)), ae A } 1 (بره)9 ...لماو عدد بردار به طول 1 find 2)( 6 > ا(ه :)40 -( كه تال هو = ‎pe(a(a"), qlar))‏ اک وچکترین‌یدهیکه شولیط فوقرا ای ‎NA(e;21,..., 28) 2‏ د ( = ‎minimal é-net‏ 1 دبع بمو ويك 01 اهماد 

صفحه 11:
آنتروپی مجموعه از توابع ‎ga‏ ‏۳ توابع حقیقی ۸ (0) و 

صفحه 12:
آنتروپی مجموعه از توابع ‎ga‏ ‏توابع حقیقی Random V.C. Entropy: HME; 21,...52¢) = M.NA(G; 21,.--, 24) ...ادامه V.C. Entropy: ‏با توجه به توزیع نمونه ها‎ ‏قبع خير‎ = EHA(e;21,..., 2) 

صفحه 13:
شروط همگرایی همگرایی دوطرفه شرط لازم و کافی جهت ‎Ve >0‏ ,}> € (# معا رز 2 - ‎Ole,a)dFl2)‏ / 5 lim P ¢ sup ‏مم‎ [aca #همگرلیی یکنواخت دو طرفه ‎tin ED‏ ‎im > =0, Ve>0,‏ t--00 Markov inequality ‏کفایت:‎ ‏تابع صعودی‎ gle) P(X >e)< Elg(X)] =) 

صفحه 14:
ه28 شروط همگرایی ‎ga‏ ‏...ادامه همكرايى ‎ae‏ هم + برع رد ‎>a) > — a 1‏ يولم 11 ‎ ‎ ‏هم ‎I‏ 2 211 ‎5 ean ‎TL, MQ) (MQO)\"‏ مفب ‎=~ eran \ ‏محم‎ ‎= exp{—n(Aa — In M(A))} ‎> I(a) 5 ‏صا - مح) رصنام‎ M(A)) ‎ ‎Aol... 

صفحه 15:
a 008 43 bao ‏همگرابی‎ alist. Bernoulli Distribution’ M(A) = (1—p)+ pe d al [ra — InP — p + pe)] =0 oe a(1 =p) ‏)مسدب‎ <a ab << 0 ‏صامد-‎ +) - (۲ 1 1 - 0 —p we are interested in P(LS,, —p>e) = ‏عدو كيج‎ ‎I(p+e) >2e cy‏ ...ادامه ‎ ‎ ‎ ‎ 

صفحه 16:
© شروط همگرایی ‎gl‏ ‏1 همكراب., دوطر فه union ‏سس‎ 4 ‎‘fa 2, a,)dF (2 ١-70 2 0‏ 31 ‎aa‏ - 55 ل ‎Chernoff‏ ‏۸ )"26 ~ بت ) )ود - ۱ مود اور و > ,.,.ادامه ‎ 

صفحه 17:
شروط همگرایی ...ادامه همگرایی دوطرفه <> شرط تكنيكى: ‎InN‏ ‏موب £ A fim ‏بو لماك‎ Ve > 0, aolol..., 

صفحه 18:
ه28 شروط همگرایی همگرایی یک طرفه in P{ ‏مهما‎ — Remp(0)) > 1 or ‏(مامسقاميد]|‎ — R{a)) > :( =0 همگرلیی یکطرفه ‎if exists a function in Q*(z,a*)‏ ‎Q2z,0) — Q*(z,0°) 20, Vz,‏ / (Q(2,a) ~ Qt(z,0°)) dF(2) < 6. Qe, a) Qt @, a*) 

صفحه 19:
شروط همگرایی ...آدامه همگرایی یک طرفه ۲ ‏بجع بو‎ 6 exist @ set of functions Q*(z,a*),a* € A* HY st lim 2&4 oy شرط لازم و کافی جهت همگرایی بکنواخت یک طرفه 

صفحه 20:
‎SB‏ ى غير قابل رد کردن ‎[Theory of Nonfalsifiablit‏ ‎A ‎lim 11 3 a0, Ve> 0, ‏موب‎ £ ‎HA(Eq, 8 5 79 ‎lim ‎£00 ‏آیا همچنان می توانیم سازگاری داشته باشیم؟‎ ‏...ادامه 

صفحه 21:
ى غير قابل رد كردن ‎[Theory of Nonfaisifiablit‏ Popper’s Theory: two models of reasoning (i) Deductive: which means moving from general to particular (ii) 1 نع 10 2 ۱ ,...ادامه 

صفحه 22:
0 ى غير قابل رد كردن ‎Theory of Nonfalsifiablity‏ با توجه به تئوری پوپر: یک تئوری استقرایی باید قابل رد شدن باشد! ‎\Falsifiable‏ ‏| ۷ حقایقی وجود داشته باشند که در شرایط تثوری مورد نظر قرار داشته باشند اما نتوانند توسط آن تئوری توضیح داده شوند! زیرا ِ چون تئوری بر اساس تعداد محدود داده های آزمایشی درست شد حتما دارای نابقینی خواهد بود. | ما ‎cl) o>‏ نايقينى حوا بو ...ادامه 

صفحه 23:
ى غير قابل رد كردن ‎[Theory of Nonfaisifiablit‏ H{eq, £} 7 FO, lim ‏موب‎ ‏غير قابل رد شدن خواهد شد‎ ER M Complete (Popper’s) Nonfalsifiablity Partial Nonfalsifiablity Potential Nonfalsifiablity 

صفحه 24:
غير قابل رد كردن ‎Ga.‏ ‎Nonfalsifiablité‏ 0000 2 = .فى 

صفحه 25:
‎oy‏ ى غير قابل رد كردن سيت ‎Partial‏ ‎ ‏تاج رصح سس وخ (0,1) ع :6 ,54,..-,61 ‎6; = Qlzj,a*) 

صفحه 26:
Ga ‏غير قابل رد كردن‎ oy -*otential Nonfalsifiablity \Qlz,a)| SC, aeA is Potentially Nonfalsifiable If exist two functions: y1(z) > Pp(z) [ ۳۵ - ۷۷۵۸۴۵0 ‏ط‎ 39 (0,1) © ()ة ,(1(,...,8)4)ة ‎Vero‏ ‏د 6 > ا( که ریا - (نه)نول۱ .,,ادامه 

صفحه 27:
تئورى غير قابل رد كردن ‎Ga‏ ‎*otential Nonfalsifiablity‏ ...ادامه 

صفحه 28:
تئوری غیر قابل رد کودن ‎oot‏ 2 1 مسئله حداقل كردن ريسك برای داده های آموزشی ‎(ER‏ همواره سازغار تیست: ‎MD‏ 

صفحه 29:
58 HA(é) = ElnN*(2,...,28) HAL) =m ENA(ay,...,22); i) =In sup NC Danes %) 5 HM) > ‏طامة‎ > ©*)( ) ‏ره ۲ موه مت‎ oP the ERO priaiple lim HMO doll... taco 4# =a 

صفحه 30:
...ادامه موم ‎Por o Past rote oP‏ موه ال )© ‎P{R(az) — Rlao) > e} < ee"?‏ ۸ 0 مکش ‎jim‏ ‎fac £‏ را اجه له موه منم 300) 6 ی را ۱ ‎fodepeadedt oF the probubiliy weasure‏ 0*۱۵ . 0 15 22 ‎Covsistewy‏ > مه متسه له رمووویه. وم و و بط و با امه ماج 30 

صفحه 31:
‎Bd guises 88‏ (تعاریف و بحث های آماری) 2 مجموعه رخدادهای پایه 2 ۸ ‎a-algebra F of events (A) ‎(i) Ze F; ‎(ii) if A€ F, then Ae F; (iii) if Ay ¢ F, then UPS; Ai € F. ‏مدل آماری ‎ )2(‏ تعریف کیفی از آزمایش اسان ,امه 

صفحه 32:
(تعاریف و بحث های آماری) ...ادامه ‎Probability P(A)‏ ‎Measure‏ ‎(i) P(A) > 0;‏ ‎(ii) P(Z) = 1;‏ ‎Gil) P(US, Ad) = SS, P(Ad) if Ae, Ap € 3. andAyn Ay =0, ۷۵,‏ ‎(ZF, PY gud‏ تعریف کمی از آزمایش سل آماری ‎(ZF, PY‏ نگاهایده آل 7 ۱ ‏انامه 

صفحه 33:
تک صردو يوتري لظ (تعاريف و بحث هاى آمارى) ...ادامه 21۰-2 é Pez, € Ans.--32¢ € An} = [] Pla € An} tee] Praktic 21 ۲ nA uA) = v(21,...,26, A= ۳1 انامه 

صفحه 34:
22 ...ادامه gee IEF ‏اسلی در‎ alte ضمیمه (تعاریف و بحث های آماری) بدست آوردن تابع توزیع تئوری احتمالات بدست آوردن دو مود اصلی در محاسبه مود قوی ‎Probability‏ مود ضعي ‎١ Measure‏ AGF. Probability EA) = Eelzi,..-. 26; A}, sup |P(A) — ¢(A)| => 0 ACF foo FCF ‏م‎ ‎‘sup IP(A) —Ee(A)| ‏مي‎ aol Shr 

صفحه 35:
(تعاریف و بحث های آماری) در بررسی شرایط سازگاری در مود ضعیفی‌قرار داریم ‎Qe, a)‏ ‎P Qt, «) > By‏ / ...ادامه R(a) = 19 a)dP(2) = him ‏و‎ p{aw, a)> 1 R(a)= ‏ل‎ Ze {a | 

صفحه 36:
58 باتشكر از توجه شما © 

صفحه 37:
آنتیوپی مجموعه از توابع توابع جداكننده ‎(Indicator)‏ آنتروپی بی نهایت و کاهش قابلیت تعمیم Figure 5: Convex Polygons بازگشت ۲ بازگشت ۱