ارزیابی فرضیه ها

صفحه 1:
ارزیابی فرضیه ها ۱ Ghiqv 

صفحه 2:
یک الگوریتم یادگیری با استفاده از داده های آموزشی فرضیه ای را بوجود میآورد . قبل از استفاده از این فرضیه ممکن است که لازم شود تا دقت این فرضیه مورد ارزیابی قرار گیرد. Data Learning ———~ Hypothesis Algorithm Performance Assessment اينكار از دو جهت أهميت دارد: 

صفحه 3:
اروشهای آماری در اين فصل سعی میشود تا روشهای آماری مناسب برای حدس زدن دقت فرضیه ها معرفی گردند. مبنای کار در جهت پاسخگوئی به سه سوال زیر است: اگر دقت یک فرضیه برای داده های محدودی معلوم باشد دقت آن برای سایر مثالها چه قدر خواهد بود؟ اگر یک فرضیه برای داده های محدودی بهتر از فرضیه دیگری عمل کند احتمال اینکه این وضعیت در حالت کلی نیز صادق باشد چقدر است؟ وقتی که داده آموزشی اندکی موجود باشد بهترین راه برای اينکه هم فرضیه را یاد بگیریم و هم دقت آنرا اندازه گیری کنیم چیست؟ 

صفحه 4:
اکمی داده های آموزشی ‎٩‏ وقتی که داده آموزشی محدود باشد این امکان وجود دارد که این مثالها نشان دهنده توزیع کلی داده ها نباشند ‎ ‎ ‎ ‎ 

صفحه 5:
مشکل کمی داده *_ وقتی که یادگیری با استفاده از داده های محدودی انجام میشود دو مشکل ممکن است رخ دهند: Oius ia the eptvocte © دقت یک فرضیه بر روی مثالهای آموزشی تخمین مناسبی برای دقت آن برای مثالهای نادیده نیست. زیرا فرضیه یاد گرفته شده بر اساس اين داده ها برای مثالهای آتی بصورت همم عمل خواهد نمود. برای رهائی از این امر میتوان از مجموعه داده ها ی تست استفاده کرد. © وه عا دز نون حنی با وجود استفاده از مجموعه تست این امکان وجود دارد که خطای اندازه گیری شده با خطای واقعی اختلاف داشته باشد 

صفحه 6:
Ores ud Ourtcure tn the Csivate 5 Estimated Variance ‏سس(‎ Accuracy seis ~—~True accuracy sample size 

صفحه 7:
:؟ اتخمين دقت فرط * در یک مثال یادگیری میتوان برای فضای مثالهای ورودى يك تابع توزیع احتمال نامعلوم () در نظر گرفت که احتمال رخداد هر نمونه »«را ‎p(x) b‏ مشخص مینماید. NTS Input Space X p(X) © در اینصورت با دو سوال زیر مواجه هستیم: خطای احتد تخت 

صفحه 8:
#: خطای نمونه و خطای واقعی خطای نمونه عبارت است از خطای فرضیه روی مجموعه مثالهای موجود ) آموزشی و یا تست( خطای نمونه فرضیه :1 نسبت به تابع هدف ۶ و داده نمونه ‏ بصورت زیر بیان میشود: ((( )2۵ 40 -() ,سس كه در ان تعداد مثالهای « ومقدار ((مم,(م))۵ برابر با ۵ است اكر ()>ا + ()*و در غير اینصورت برابر با ) است. 

صفحه 9:
#: اخطای نمونه و خطای واقعی ‎٩‏ خطای واقعی © عبارت است از خطای فرضیه روی مجموعه تمام مثالهای با توزیع نامعلوم 0) و برابر است با احتمال اينکه یک نمونه تصادفی به غلط دسته بندی شود. خطای واقعی فرضیه | نسبت به تابع هدف. ۶ و داده با توزیع 0) بصورت زیر بیان میشود: ‎ ۳([‏ (آم۳۳) -()مس< ‎Se a ee‏ را سا ‏ات وا نع شع در بج بو رتراك ‎ ‎ ‎ ‎ ‎ ‎ ‎ ‎ ‎ 

صفحه 10:
* یک مجموعه داده0 تائی با توزیع احتمال زیر وجود دارد: 060 - 0. 06 - 0 00(۶ ۵۸ 0۵ 0.4 = 0۵ 0.6 - رمعم فرضیه :| برای مجموعه نمونه [26۳ ,2 ,66 ,060میتواند 6 ,6 ,0 را بدرستی دسته بندی کند ولی قادربه دسته بندی صحیح 66 نیست. دراین صورت خطای نمونه برابر است با: 14 )0 +0 + 0 + 0( 2 1 2 0.66 اگر این فرضیه برای 26 صحیح و برای 0(نادرست باشد در اینصورت خطای واقعی برابر است با: 0:0۰ + ۵.۵0 + ۵:0 + ۵:0 + )0.0 + 060 

صفحه 11:
فاصله اطمینان برای فرضیه های با مقادیر گسته اگرشرایط زیر برقرار باشند: * نمونه 6 دارای ب مثال باشد که مستقل از یکدیگر و مستفل از برپایه توزیع احتمال () انتخاب شده باشند و 96 < ب باشد و #فرضيه +| منجر به , خطا برروئ اين مثالها گردد رن سر تحت اين شرايط میتوان بر پایه قضایای آماری ادعا نمود که _ اگر اطلاعات بیشتری موجود نباشد. محتملترین مقدار برای (4),جسجج برابر با (ج/),سسمر خواهد ae ‏وف د رم تررق‎ SEO” error” ‏ج. با احتمال ©©96 خطاى واقعى بين فاصله زير قرار دارد‎ 2 

صفحه 12:
© فرض كنيد كه < دارای 0ب مثال بوده و فرضیه | منجر به 08 خطا بر روی اين داده شود. در اینصورت: * خطای نمونه برابر است با 0,-0//-() ,سس #اگر اين آزمایش را بارها و بارها برای 620 نمونه جدید تکرار کنیم متوجه خواهیم شد كه در 9696 مواقع خطای محاسبه شده در فاصله زیر قرار خواهد داشت: 0.30+(1.96x.07 =0.30+.14 

صفحه 13:
© عبارت فوق را میتوان بجای فاصله اطمینان 9۵90 برای هر فاصله دیگری نظیر ‎%D‏ نیز ذکر نمود: errofi+ 2 ‏قزم جع‎ 2 errof# ۰ مقدار ثابت 0 برای درصدهای مختلف را میتوان از جدول زیر بدست آورد: 68% 80% 90% 95% 98% 99% 7 1.00 1.28 1.64 1.96 2.58 © اين تقريب زمانى بهترا را دارد که: © < (لا) سد - 0)ل/) مده 

صفحه 14:
555 امقدمه ای بر تتوری نمونه برداری # مروری بر بحثهای زیر « میانگین ۶ واریانس © توزیع دوجمله ای ۶ توزیع نرمال ‎٩‏ فواصل یک طرفه و دو طرفه 

صفحه 15:
0 خطا © سوال: تاثير اندازه داده هاى نمونه بر اختلاف بين خطاى نمونه و خطاى واقعى جيست؟ * در واقع ياسخ اين سوال را متخصصين آمار داده اند! © ميتوان اندازه كيرى خطاى نمونه را به آزمايشى با نتيجه تصادفى تشبيه كرد. اكر به دفعات » نمونه با توزيع احتمال 0) بصورت تصادفى انتخاب و خطاى نمونه براى هر كدام اندازه كيرى شودء بعلت متفاوت بودن نمونه ها مقدار خطا نيز متفاوت خواهد بود. نتيجه حاصل از هر آزمايش يك متغير تصادفى خواهد بود. © جنين آزمايشى را ميتوان با استفاده از توزيع دو جمله اى توصيف نمود. 

صفحه 16:
توزیع دو جمله ای برای آزمایشاتی استفاده میشود که دارای خواص زير باشند: آزمایش به تعداد ب دفعه تکرار شود ب مقداری ثابت و ازقبل دانسته است. هر آزمایش دارای دو نتیجه درست و یا غلط باشد. آزمایشات مستقل از همدیگر باشند» به نحویکه نتیجه یک آزمایش تاثیری بر سایر آزمایشات نداشته باشد. احتمال وقوع نتیجه درست برای تمام آزمایشات ثابت باشد. 

صفحه 17:
:: امثال در پرتاب یک سکه به تعداد 60 دفعه: u=O ۶ © آزمايش داراى دو نتيجه شير يا خط است © نتيجه هر يرتاب سكه مستقل از يرتاب هاى قبلى است © احتمال آمدن شير براى هر يرتاب 1/2)-م است 

صفحه 18:
:: احتمال دوجمله ای ‎٩‏ احتمال وقوع ‏ موفقیت در () بار تکرار یک آزمایش از رابطه زیر محاسبه میشود: ‎An= ae aa )1 37* ‏9 که در آن م احتمال وقوع موفقیت در هر بار تکرار آزمایش ‎ ‏توزیع دوجمله ای برای عم ,0و ‎10 20 30 40 

صفحه 19:
© احتمال آمدن 0 خط در 0 بار پرتاب یک سکه چقدر است؟ p=5 =a a 2)1- 5-0 

صفحه 20:
£5 اخطای نمونه برداری این خطا را میتوان با پرتاب سکه مقایسه نمود: # پرتاب سکه و دیدن یک خط> انتخاب یک نمونه از ۱ 3 * احتمال اينکه در یک پرتاب واحد یک خط داشته باشیم» احتمال اینکه ایک نمونه غلط ارزیابی شود ۶ دیدن تعداد « خط در () بار پرتاب سکه > تعداد ارزیابی های غلط از بین () نمونه انتخاب شده 0 و تعیین اينکه آیا ب آنرا غلط ارزیابی میکند یا نه 

صفحه 21:
32° امیانگین ‎٩‏ مقدارمیانگین ) و یا (صاه() لصعم<) یک متغیر تصادفی ۷ که ممکن است مقادیر بم...,0, را داشته باشد عبارت است انه ‎Of] = Ev, PY) ‏* برای یک متغیر تصادفی با توزیع دوجمله ای اين مقدار برابر ‏است با: ‏ص - 6۳۷ 

صفحه 22:
واریانس ‎٩‏ واریانس گستردگی توزیع احتمال و فاصله متغیر تصادفی از مقدار میانگین را مشخص میکند. واریانس یک متغیر تصادفی ‎YY‏ عبارت است از: ‎OofY] = Ef(r-E[r]F] ‏© ريشه دوم واريانس انحراف معیار نامیده میشود. ‏© برای یک متغیر تصادفی با توزیع دوجمله ای اين مقادیر برابراند با: ‏۵ -<رن (ر -ر ۲۵2/11 

صفحه 23:
۹ © اگر ‏ تعداد خطا ی فرضیه برای نمونه ای با اندازه ب باشد در اینصورت: ‎=rfowd error (kh) =7‏ ()ن بر ‎p a8 ©‏ احتمال دسته بندی غلط یک نمونه انتخاب شده از 0) است ‎٩‏ متخصصین آمار ()یسسم را یک تخمین زننده ‏اختلاف بین مقدار تخمین زده شده و مقدار واقعی بایاس تخمین نامیده میشود م - [7]) © اگر مقدار بایاس صفر باشد» تخمین زننده بدون بایاس نامیده ميشود. 

صفحه 24:
أ اندراف معیار خطای نمونه 9 اگر در یک نمونه » عضوی تعداد « خطا داشته باشیم. انحراف معیار خطای نمونه برابر است با | _ 0 _ ‎Cerro” n\n‏ * اين مقدار را میتوان بصورت زیر تقریب زد: ~(errox)t- errox)) O errof n 

صفحه 25:
23 افاصله اطمینان * برای یک توزیع دوجمله ای مقدار میانگین برابر با (؟ا).م مج و مقدارانحراف معیار برابر است با errox)0- errox)) O error ~ 7 *۶ از اینرو برای بدست آوردن فاصله اطمینان 9۵6 میبایست فاصله ای حول میانگین پیدا کینم که 7۵0 احتمال را در بر داشته باشد. © از آنجانیکه برای توزیع دوجمله ای محاسبه اين مقدار مشکل بوده و از طرفی از آنجائیکه برای نمونه های زیاد توزیع دوجمله ای به توزیع نرمال نزدیک میشود. میتوان برای محاسبه فاصله اطمینان از توزیع نرمال بهره گرفت 

صفحه 26:
برای توزیع نرمال با میانگین و واریانس » فاصله اطمینان ‎٩660‏ بصورت زیر است: از اینرو تقریب ما بصورت زیر خواهد بود: زره و ررو| 2۳ مره برای بدست آوردن اين رابطه دو تقریب زده شده است: * در محاسبه انحراف معيار بجاى (جإ) مسجب از (ا) دم استفاده شده است توزيع دوجمله اى با توزيع نرمال تقريب زده شده است. 

صفحه 27:
‎Ape) Ss‏ يكطرفه 43 دوطرفه ‎٩‏ فاصله بدست آمده در مثال فوق یک فاصله دوطرفه است. گاهی لازم میشود که اين فاصله بصورت یکطرفه بیان شود: احتمال اینکه (0),«سه حداکثر () باشد چقدر است؟ © با توجه به اينکه توزیع نرمال حول میانگین متقارن است؛ میتوان یک فاصله اطمینان دوطرفه را به فاصله اطمینان یک طرفه معادلی با دو برابر اطمینان تبدیل نمود. [(هلم100)6 .. امه ‏[0 ۲ )9۵۵۵ (طلم)۵0 — ]% 

صفحه 28:
* اختلاف خطای فرضیه ها # حالتی را در نظر بگیرید که دو فرضیه ۲۵ ,۷ موجود باشند: 9 بر رویمجموعه 20 که شاملب عضو لستتستشدم و بر روومجموعه ‎oO‏ که شامل» عضو بوده و دارلی‌همان‌توزيم. لستقستگردیدم لستب © میخواهیم بدانیم اختلاف خطای واقعی اين دوفرضیه چیست؟ هروس - 1 لزم رمع 

صفحه 29:
© اتخمین زننده * برای تخمین مقدار 4 از یک تخمین زننده استفاده میکنیم: d=errod li)- errog( ۸ © نشاد داده میشود که [م تخمینی بایاس نشده از لرا بدست میدهد Hd =a 0 

صفحه 30:
انحراف معيار * از آنجائيكه براى مقادير بزرك نمونه توزيع احتمال (۳6) یس و (۳) ,رسمه نقریبا نرمال است ‏ لذا توزيع احتمال ب را نیزمیتوان بصورت نرمال در نظر گرفت: ‎_erro#\W- erro Md) 8 errop2\l- erropli2))‏ ۳ ‎d 11 12‏ © به همین ترتیب فاصله اطمینان این تقریب بصورت زیر خواهد بود. a oe | erroxAM- erro, erropUb- errog| 

صفحه 31:
مقایسه الگوریتم های یادگیری © چگونه میتوان عملکرد دو الگوریتم یادگیری مختلف ) مثل شبکه عصبی و درخت تصمیم ( را مقایسه کرد؟ 

صفحه 32:
$2 امقایسه الگوریتم های یادگیری * روشهای مختلفی برای اینکار معرفی شده ولی هنوز روشی که بتواند اتفاق آرا را کسب کند ارائه نگردیده است! # یک روش عبارت است از مقایسه میانگین عملکرد دو الگوریتم بر روی تمامی مجموعه های آموزشی با اندازه » که بصورت تصادفی از نمونه با توزیع 0 انتخاب میشوند. © بعبارت دیگر میخواهیم مقدار اختلاف مورد انتظار درخطای آندو را تخمین بزنیم. Cow fer o(lo(G))-errorolbo(G )([ 

صفحه 33:
9 در عمل فقط تعدا کمی داده نمونه برای مقایسه دو الگوریتم وجود دارد. در چنین حالتی داده موجود به دو مجموعه داده آموزشی (90) ومجموعه داده تست ‎DD)‏ تقسیم میشود.از داده آموزشی برای آموزش هر دو الگوریتم استفاده شده و داده تست نیز برای ارزیابی هر دو الگوریتم استفاده میشود. 9 در اینصورت مقدار زیر برای مقایسه دو الگوریتم بکار میرود. ((و) مامح( )ماو مد * ایراد این کاراینجاست که بجای استفاده از تمامی مجموعه های موجود در () فقط خطای موجود در مجموعه آموزشی مورد استفاده قرار میگیرد. 

صفحه 34:
‎Cross-Ouidation 33‏ لا ‏»يك راه حل استفاده از الكوريتم زیر است: ‎onto the avalible data 0000 ‏رت 6 ,20 له تم ۲ حادا‎ Al Tho equ size, where this size is ot lest OD or tProw (to k, do CO Gt< {DO -T} ‎k® <-L@(Gi) ‎k® <-L@(Gi) ‎Ot <= error THK®)-error THB) QRetura he vo wf), where : 2 wr (5) = Os Zag, ۷ 

صفحه 35:
‎s2‏ افاصله اطمینان ‎٩‏ مقدار تقریبی فاصله اطمینان ‎٩00‏ برای تخمین ‏[(()م)م سس ())ن امین عبارت است از: ‎a(S) Fy 7 an(d)‏ ۱ که در آن ببمامقداری شبیه به ,را بوده و مقادیر آن از جدول 0-0 بدست میاید» رم,,<تخمینی از انحراف معیار مربوط به توزيع (6)عره ميباشد: ‏7( م رت 

صفحه 36:
بو لعف ‎٩‏ اگر تست دو فرضیه یادگیری با استفاده ازمجموعه مثالهای یکسانی انجام شود ‎pte ode paired test‏ ‏© نتیجه چنین آزمایشاتی معمولا منجر به فواصل اطمینان بسته تری میگردد زیرا اختلاف مشاهده شده در خطا مربوط به اختلاف بین فرضیه هاست در حالیکه وقتی فرضیه ها با استفاده از مجموعه داده های متفاوتی تست میشوند امکان تاثیر گذاری اختلاف بين دو مجموعه داده زياد ميشود. ‎