طبقه بندی های مبتنی بر تئوری بیز

صفحه 1:
طبقه‌بندهای مبتنی‌بر تئوری بیز ‎Classifiers based on Bayes Decision Theory‏ حسین منتظری کردی دانشکده مهندسی برق و کامپیوتر دانشكاه صنعتى نوشيروانى بابل ياييز ‎٩۱‏ ‏ل ‏صح ‏شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه ی سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی 

صفحه 2:
رئوس مطالب ۱- تئوری تصمیم بیز ۲- توابع تمایز و سطوح تصمیم ۳- طبقه‌بندی بیزین برای توزیع‌های نرمال ۴- تخمین توابع چگالی احتمال نامعلوم ۵- قاعده نزدیکترین همسایه ۶- شبکه‌های بیزین .2 2 5 شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه ی سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی 

صفحه 3:
۱- تئوری تصمیم بیز ۷ هدف طراحی طبقه‌بندی جهت قراردادن یک الگوی ناشناس در محتمل‌ترین کلاس فرض 214 كلاس ‎Wye Wy, i!‏ ۰,(د) موجود بوده و یک بردار ویژگی ناشناس ۶ داریم. ¥ ۸ لحتمللشرطیب‌صویت/۸ ,..۰ ,2 ,1 |۳60۵ را تشکيل‌ميهيم لینتولبع لحتطلل شرطیرا لحتم تپ سیرنسیز مامند هر احتمال‌پسین بیانگر میزان تعلق بردار # به كلاس ,له مىباشد محتمل‌ترین کلاس می‌تواند برایر اندیس احتمال شرطی بیشینه باشد و به آن تعلق دارد کار طراحی با تخمین تولبع چگللی احتمال ‎(DAF)‏ از روی بردارهای ویژگی مجموعه داده آموزش شروع می‌شود. ۲ پرای سادگی. مسئله دو کلاسه را در نظر بگیرید (,۵) ۰ ,00) و احتمال پیشین اتفاق هر كلاس نيز معلوم فرض می‌شود حتی اگر اینگونه نبود. به آسانی قابل تخمین‌زدن می‌باشند (غیر دقیق) 9 5 —— شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه ی سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی 

صفحه 4:
if N be the number of samples in training sets then p(o,) = a, P(@,) = ۲ تولبع چکالی احتمال شرطی کلاس, 2 ,1=1 ‎P(xlo),‏ بیانگر توزیع هر بردار ویژگی در كلاس مربوطه. قابل تخمین توسط داده آموزش؛ این تابع بعنوان تابع همانندی (11166110000 2 نيز شناخته مىشود طبق قاعده بيز ۳ Pools) = ‏حمیر‎ - (۸۵۵۳۵۸۵ oD x ۷ قاعده طبقه‌بندی بیز If Ploy|x)> ‏,دحوم‎ x is classified t0 ‏رس‎ ‎If Pla|x)<Ploz|x), x is classified ‏وت ما‎ ” با جایگزینی قاعده بیز در رابطه طبقه‌بندی, داریم (یم)نجم |0۲ ج درس طذرس مما ۷ همانطور که می‌بینيم. به )۳ در رابطه نهایی احتیاجی نیست و !در احمال پیتین وعوع تلاسها را برابر در نظر بگیریم داریم: — 5 سید شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه ی سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی 

صفحه 5:
PCe\@1) 2 PCxr|@2) ‏طبق قاعده تصمیم بیزه بازای تمام مقادیر در ,11 بردار ویژگی متعلق به کلاس یک و در‎ ‏غير اينصورت به كلاس دو تعلق دارد‎ ESL ‏خطاهاء. تصمبمكدء.: غف قانا احتنات م‎ اكش‎ .>٠.. :| ‏بوضوح‎ ” 2 هار ۱ / ۳ FIGURE 2.1 Example of the two regions & and Xz formed by the Bayesian classifier for the case of two _ شناسایی آ ‎equiprobable classes.‏ سنعتی نوشیروانی بابل جلسه دوم درس حسین منتظری کردی Me 

صفحه 6:
۲ باتوجه بشکل, خطای تصمیم برابر است با ۷ هدف در طراحی طبقه‌بند بیز: حدافل دردن حطای تصمیم تیری می‌باشد حداقل کردن احتمال خطای طبقه‌بندی * از لحاظ کمینه احتمال خطاء طبقه‌بند بیز بهینه می‌باشد (يسرضاء عمط + (ره ی > ۳ - و1 ۳ .) احتم(-ولم دو رویداد. طبققانونب یز Pe = P(x € Rolo )P(@}) + Pe € Ry|o2)P(o2) = Plo) | ie a + ‏هت‎ wlon)dx rem | Peartspeo ax + poses in JR, Siena bs % 9 5 —— شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه ی سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی 

صفحه 7:
Ru: Play |x) > Plwr|x) Ry: Plo Pa |X) از سویی دیگر. ,1 و یه کل فضای ویژگی را پوشش می‌دهند و داریم ۱ [renin dxt 1 Par |x9px) dx = Plo) 2 b Pe= Poa) [ (Perla) ~Ploals p(s) as 5 0 ۷ بدیهی است. تنها در صورتی حضا دمینه حواهد بود ده در احیه ,اد در حالت ۸۸ کلاسه. بردار ویژگی ۶ مت ‎ts adi) 2d)> Bore‏ حداقل کردن متوسط رو ” < ‎Rail‏ ‏احتمال خطای طبقه‌بندی همواره بهترین معیار نیست 9 5 —— شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه ی سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی 

صفحه 8:
۲ بدلیل نسبت‌دادن اهمیت یکسان به تمام خطاهاء مثال خطر تشخیص اشتباه یک بیمار با تومور بدخیم بعنوان خوشخیم (منجر به مرگ بیمار و بالععکس خیر) ” راه حل. اختصاص یک چریمه (پنالتی) بعنوان وزن برای هر خطاء فرض ,0 كلاس بيماران سرطانی و ,0 افراد سالم. همچنین نواحی مربوطه بترتیب مگ و یک ۷ هدف کمینه کردن تابع خطرپذیری زیر ید وه مه #ااتققان معظفى بسورة ] ‎A>‏ خواهدبود ” در مسئله 14 كلاسه با نواحى تصميم 24 کلاس ,( در 1716 ,با قرار كيرد. مقدار جریمه ,2 بنام قلفات به لین تصمیم اشتباه اختصاص می‌یلبد. ماتریس تلفات با با درایه‌های (16,3) مبین مقدار جریمه تشکیل‌می‌شود. و مقدار خطرپذیری یا تلف کلاس 16 0 ‎Ae f mon) de‏ ‎iy‏ شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی ‎J = 1, 2,‏ ,4 فرض مىكنيم بردار * از ‎ ‎2 ‎~— ‎— ‎SS ‎ ‎ 

صفحه 9:
۳ در رابطه قبلی, احتمال قرارگیری بردار ویژگی ۶ از کلاس :1 در کلاس 1 محاسبه می‌شود ۲ هدف انتخاب یک یک ناحیه تصميم ,18 جهت كمينه كردن متوسط ,1 مىباشد د مر ۲ 2 = x 1 (Sn ‏ات‎ ax ۱ رابطه بالا کمینه است اگر هریک از انتگرالها کمینه باشد ‎a 0‏ راک یهرز 3 ‎ ‎Aug Plow Plog) Vf A‏ كذ باه ‎ ‎L- By 1% ‏خواهدبود. در حالت دو کلاسه داریم ‏تمال طبقفبندی ‎Ay = Ani pela PCy) + Az POelw2)P@2) Apple Por) + Axper) ‏آنگاه 2 به ,00 اختصاص‎ ‎ ‏درس )ترس سارت ل - جرا > ‎day - AzzdprCoeo2PW2)‏ ‏شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه ‏© ‏— ‎SS‏ ‏سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی 3 ‎ 

صفحه 10:
۷ طبیعی است که ,را( <ررا2 باشد. قاعده تصمیم بنام نسبت همانندی برای دو کلاس ‎Pua) Aza = Azz‏ ,2 13 ‎Peron) Pea) A An‏ ۲ بطور معمول, عناصر قطری ماتریس تلفات را صفر در نظر می‌گيرند. حال اگر بخواهیم طبقه‌بندی اشتباه الگوهای کلاس ۲ در کلاس ۱ عواقب وخیم بهمراه داشته باشد. آنگاه بایستی ور2< ری xewlon) if ‏را‎ ره ترس روم 2 ‎PCx|w2) > pl ۳‏ 7 ۳ 9 ۲ در رابطه بالاء احتمال وقوع کلاس‌ها برابر فرض شده‌اند. مثال: برای یک مسئله دوکلاسه. با فرض احتمال گوسی برای بردار ویژگی ‏ با 02 - 72 و انگین صفر و یک بترتیب برای هر کلاس» مقدار آستانه را برای کمینه احتمال خطا و ‎bs ee ana‏ ساب وا جره اتير 05 0 3د رمه د رمام إن م pool) ل 2 — شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه ی سنعتی نوشیروانی بابل جلسه دوم درس. حسين ی کردی 

صفحه 11:
الف) کمینه احتمال خطای طبقه‌یندی یرجه يسم ‎Paley) 2‏ ?2 شرع > (,م6 1 ب) كمينه متوسط خط يتيروير ج *(1 - ونج) > گوند 2 (و|۲)2 > (ر) ۴ نود نتيجه: آسانه در حلت (وله لزنلا( جلك الإمطبه تنعقی ۳ مراک( ‎ols Sains Ay‏ خطای کمتری خواهیم‌داشت ‎In2‏ ‏۲- توابع تمایز و سطوح تاسمیع ۲ کمینه کردن تولبع هدف در تصمیم‌گیری معادل با قسمت‌بندی صفحه ویژگی به ۸۸ ناحیه بمنظور کار طبقه‌بندی ۸۶ کلاسه می‌باشد 1 2 3 1 وه ۵ )1 و6 ) ‎exp‏ - ود ) هت 3 ل 2 — شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه ی سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی 

صفحه 12:
۷ اگر نواحی با و 1 مجاور هم در فضای ویژگی باشند. آنگاه یک سطح تصمیم ایندو را از هم جدا می‌نماید. این سطح جهت حداقل خطای احتمال بصورت زیر توصیف می‌شود ‎Pai\x) ~ Play|x) = 0‏ بجای کار با توابع چگالی احتمال. از توابع جایگزین استفاده می‌کنیم ‎oo. gi(%) = F(P(ailx)) ‏در رابطه بالاء () یک تابع صعودی یکنواخت. و ,9() نیز تلبع تمایز «اصحصتصنمعزظ‎ ۷ ‎et function‏ دارد ‏مسئله طبقه‌بندی بصورت تصمیم‌گیری زیر خلاضه می‌شود ‎classify x in ay if gx) > YO) WAT 93551. ‏سطوح تصمیم‎ ۷ ‎Sy) = BA) — Ge) =0, f= 12..M, TFS ‎9 ‏5 —— شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه ی سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی ‎ 

صفحه 13:
۲ رهیافت طبقه‌بندی از طریق قاعده‌احتمال‌بیز با هدف کمینه کردن احتمال خطای‌طبقه‌بندی یا خطریذیری ۲ مشکل طبقه‌بندی با قاعده بیز تخمین تابع چگالی احتمال برای تمام مسائل ۲ برای حل مشکل, محاسبه سطح تصمیم با روشهای جایگزین (فصول ۳و ۴ ۳ روشهای جایگزین منجر به سطوح زیربهینه در قیاس با طبقه‌بند بیزین ۳- طبقه‌بندی بیزین برای توزیع‌های نرمال ۳-۱- تابع چگالی احتمال گوسی یا نرمال ۲ معمول‌ترین تبع توزیع احتمال در عمل, توزیع گوسی یا نرمال می‌باشد ۷ قضیه‌حدمرکزی, اگر یک متفیر تصادفی پیشامدی از مجموعی متفیرهای تصادفی‌مستقل باشد آنگاه تابع چگالی احتمال آن بسوی توزیع گوسی میل خواهدنمود ” تابع چگالی احتمال گوسی تک متغیره با ميانگین لإ و واريانس *0 ) شناسایی آماری الگو ترم پاییز سان بحصیبی ۰۱-۱۱ دسحده مهس‌سی برق و کامپیوتر دانشگاه سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی ite 

صفحه 14:
میانکین و واریانس از روابط زیر محاسبه می‌شوند 1 ‏ومو‎ o =F wl f 6 - wy pooae تتام @ FIGURE 2.2 Graphs for the one-dimensional Gaussian pdf. (a) Mean value 4 = 0, ¢ = 1, (b) w= Land o? = 0.2. The larger the variance the broader the graph is. The graphs are symmetric, and they men cre centered at the respective mean value. شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه ‎IF‏ ‏سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی و و 

صفحه 15:
۲ توزیع گوسی برای حالت چند متفیره در فضای 1 بعدی بصورت ‎ae = pl Se — »)‏ % در رابطه بالاء لا بردار ميانگین و 2 ماتریس کوواریانس 1 < 1 Y= Flex — px - pw") ۲ برای حالت دو متغیره یا فضای ویزدی دو بعدی 1 ‏تدس‎ onl] Elxil = mi, @ = 2 )2 - ۱0۲۵و - )| ابطه بالاء 2ر0 كوواريانس بين دو متغير بوده و يعنى اكر دو متغير مستقل باشند آنكاه 02 صفر خواهدبود 6 v ‏در را‎ " در حالت دو متغیره برای تعبیر هندسی توابع توزیع داریم ite شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی 

صفحه 16:
معاذله تک بیشی برحبیب قاتا ۵ 0 ANI ANN HK AN ANN ۳ @ oem 26 my (@) The graph of a two-dimensional Gaussian pdf and (b) the corresponding isevalue curves for ‘a case of a nondiagonal &. Playing with the values of the elements of Sone can achieve different us اقا بو عد موري حو :يناده سحيب سوم موس shapes and orientations. 

صفحه 17:
۳-۲- طبقه‌بند بیزین برای کلاس‌های با توزیع نرمال برای یک طبقه‌بند بیزین بهینه, با توصیف توزیع داده هر کلاس بصورت توزیع‌های نرمال چند متفیره و استفاده از تابع تمایز لگاریتمی داریم (بس)صا+ (سإعد)مصا ح ((رس) (سإعد)مرعصا - دايع ‎fo = pp 37x — pw) + In Pwo) + G‏ - ضايع ۷ که 6 یک ثابت بصورت ارلاصا (1/2) - 27 «2(1//)- می‌باشد. با بسط تابع بالا داریم ‏- دهع ‎ ‎1 5 0 ‏ل‎ 1 = 1 = TEP Na tb aT Slay — ‏رس ار أسرح‎ + MP Sy x + In Pwd) + e4 ‏” رابطه بالاء یک رابطه تربیعی غیرخطی می‌باشد. در حللت دو کلاسه با ماتریس کوواریانس قطری سطوح تصمیم و یک سطح و طبقه‌بند درجه دو می‌باشد ‎1 2 Zap HA (+ + ‎ ‎ ‏1 بعس 1 وحم + تسوج + (يد+ [م جد - جمارع 2 207 ‎BCX) — BX) =0 ‏شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی ‎© ‎— ‎— ‎ 

صفحه 18:
مثاا: مسئله ده کلاسه با مقاد زد 000 12 دي 0.0 0.5 185 0060| 2 'إ035 00 My = 10.017, py = ۱۵20 3) 0 ‏]سید اد‎ | P(@1) = P(@2), py = [0, 0] and py = [4,0]" 2 1 مه 0 00 FIGURE 2.7 ‎Examples of quadric decision curves. Playing with the covariance matrices of the Gaussian‏ ل ‎_‘unctions, different decision curves result, that is, ellipsoids, parabolas, hyperbolas, pairs of lines.‏ سر شناسایی اماری الکو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه ‏ . ۳ سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی و ‎ ‎ ‎ 

صفحه 19:
FIGURE 2.8 ‘An example of the pais of twa equiprobable classes In the two-dimensional space, The feature vectors in both classes are normally distributed with different covariance matrices. In this case, + the decision curve is an ellipse and it is shown In Figure 2.7a. The coloring indicates the areas = where the value of the respective pdf is larger. Gar Or Or tr ‏وم‎ 

صفحه 20:
ابرصفحه‌های تصمیم اگر ماتریس کوواریانس کلاسها را یکسان فرض کنیم؛ <-؛ تابع تصمیم بصورت ‎Qe) - wl x te‏ be gH ‏سا‎ ‎wy =X py wi = In Pwd) —‏ ” تابع تصمیم بالاه یک تابع خطی می‌باشد. و بنابراین سطوح تصمیم ابرصفحه است ‎yu pile Ml‏ کوواریانس قطری با عناصر مساوی ‏فرض ویژگیهای منفرد بردار ویژگی متقابلا ناهمبسته با واریانس برابر باشند ‎Ely — pig — ppl = 0785‏ ‏” ذر اين حالت. 2- 021 که 1 ماتریس یکانی 1 بعدی است ‎ ‎r ‎Mix + ‏جمارع - دارع ورم‎ - Rye) = T(x = x9) = 0 ‎ ‎ ‎hy‏ م "ار بت ‎Peas)‏ ‎ ‎ ‎1 3 ‏ايند‎ = 5 +p en ( ‎ ‏شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی ‎© ‎— ‎— ‎ 

صفحه 21:
نقطه لا می‌باشد. اگر احتمال وقوع کلاسها را برابر #اتليع تصميم بالآء يك تلبع خطى مىباشده وتببابرلين سطوع تصميم أيرصفحه است: اين ابرصفحه بر خط ل-بل[ در همه حالات عمود است. برای هر روى أبرصفحه ‎tw! (30 — x0) = (My - BY" CX — Xo) = 0‏ >= 0 = دارع ‎ ‏اگر واریلنس کلاسها کوچک باشد. آنگاه تفاوت کم در احتمال وقوع کلاسها تاثیر چندانی در تصمیم گیری ندارد (تعبیر هندسی واریانس, دایره بشعاع 0 حول مرکز !4 ۲ ولی اگر مقدار واریانس کلاسها بزرگ باشد. آنگاه جابجلیی ابرصفحه با اختلاف بین احتمال کلاسها در تصمیمگیری تاثیرگذار می‌باشد لا ماتریس کوواریانس غیرقطری ” مشابه قبل برای سطح تصمیم داریم ‎By) = wl Ge = x9) = 0‏ ل 1 — شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه ی سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی ‎ 

صفحه 22:
ود © “1 FIGURE 2.11 Decision line (a) for compact and (b) for noncompact classes. When classes are compact around their mean values, the location of the hyperplane is rather insensitive to the values of P(w,) and (a2). This is not the case for noncompact classes, where a small movement of the hyperplane @ tothe ight or to the left may be more critical. —_ 5 —— 5 شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه ی سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی 

صفحه 23:
از ۶ نام دارد ay) i By ‏(رس+ رس‎ n( ( ‏سک‎ ‏بير وي ها - تس بع‎ wy D tvlya = OTS Hy? Vy ala, 9 ” ” همانند ماتریس کوواریانس قطری, تمام مطللب صحیح بوده. باستثنای اينکه ابرصفحه تصمیم بر بردار ,11-2 عمود نمی‌باشد و بر تبدیل خطی آن 01-11۳2 عمود است طبقه‌بند حداقل فاصله حالت کلاسهای هم احتمال با ماتريس كوواريانس يكسان را درنظر بگیرید. داریم x py Sw wd ‏فابت صرفتطو شتماشت: باتوجف به ماتزیسن کووازباس نازيم‎ RNY ‏ذر وابظه‎ ال ماتریس کوواریانس قطری (2- 021) ” دراين حالت. BOX) = ,0 منجر به فاصله اقلیدسی می‌گردد Euctidean distance: de = \\x ~ ‏اليس‎ شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی ل حح = 

صفحه 24:
بزدار ویژگی به کلاسی با کمترین فاصله افلیدسی تسبت داده می‌شود #ها ماتریس کوواریانس غیرقطری در این حالت. بيشینه ,9 منجر به نرم ۲۶ می‌گردد و معروف به فاصله ماهالانوبیسی ‎"ox = np)”‏ ال ‎thy = ((x—‏ مس م۱ ” در حللت اقليدسى. © ,1 دوایری بمرکز ميانگین کلاسها بوده و برای دومی. » ررل) بیضی شکل بمرکز میانگین است. در حللت اقلیدسی خط تصمیم بر خط فاصل دو میانگین عمود بوده و در حالت دوم این خط باتوجه به بیضی‌ها چرخش دارد. ملاحظات ” در عمل اغلب داده‌هابا توزیع گوسی فرض می‌شوند. لذا طبقه‌بندبیزین برحسب قطری یا غیرقطری بودن ماتریس کوواریانس ماهیت خطی پا تربیعی دارد. در آمار به لین نوع از طبقه‌بندها بترتیب تحلیل تمایز ‎QDA:) eu» jlo Uele (LDA: Linear discriminant analysis) 4+‏ ‎sx5f Quadratic discriminant analysis‏ 9 5 سید شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه ی سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی 

صفحه 25:
” مشكل ‎QDA 5 LDA‏ تخمین پارامترهای زیاد می‌باشد. در فضای 1 بعدی‌ویژگی بترتیب 1 و 12/2 برای بردار میانگین و ماتریس کوواریانس متقارن x 0 @ 0 FIGURE 2.13 Curves of (a) equal Euclidean distance and (b) equal Mahalanobis distance from the mean points of each class. In the two-dimensional space, they are circles in the case of Euclidean distance and ellipses in the case of Mahalanobis distance. Observe that in the latter case the decision line is no longer orthogonal to the line segment joining the mean values. It turns according to the shape of the ellipses, Ae شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کا سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی تر دانشگاه 

صفحه 26:
۲ 10۸و 010۸ در بسیلیواز کلربردها دارلی‌عملکرد خوبمی اشند. علتلین!مر بیشتر در سطوح تصمیم خطیو تربیعینسهفته لستنا فرضگوسیبودن‌توزیع داد ۴- تخمین توابع چگالی احتمال نامعلوم # در بیشتر موارد. تولبع چگالی احتمال کلاسها ناشناخته بوده و مجبور به تخمین‌زدن آن از روی داده موجود می‌باشیم گاهی اوقات شکل توزیع (گوسی یا رایلی) معین و پارامترها (میانگین.واریلنس) نامعین؛ و در برخی موارد توزیع نامعین و پارامترها (میانگین» واریانس) معین ۴-۱- تخمین پارامتر با روش حداکثر شباهت (همانندی) ۷ در یک مسئله ۸ کلاسه بردارهای ویژگی بصورت تولبع شباهت (:60| 2۶) 0 در شکل پارامتری په بردارهای ناشناخته ,0 وابسته است % هدف تخمین پارامترهای تلبع بصورت (:60::0| ‎ )6‏ از روی یک مجموعه بردار ویژگی معین (مجموعه داده آموزش) برای هر کلاس ” فرض داده هر کلاس مستقل از کلاسهای دیگر می‌باشد (جهت تخمین پارامترها) 9 5 —— شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه ی سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی 

صفحه 27:
۲ ...۸۵ ,:* نمونه‌های تصادفی از تلبع (9 ز 2) ار می‌باشند و تلبع چگالی احتمال توام (0 :2) راز روى مجمواو».....م) - وا تشکیل مي‌دهيم ”" با فرض استقلال آمارى بين نموندهاء داريم 1 جع ] ]دی دی :۲ ‎me‏ ” تلبع بالا را تلبع شباهت 9 برحسب ‏ نامیده. و روش حداکثر شباهت 0۷1 مقدار 8 را برای بيشینه کردن این تابع تخمین می‌زند ‎argmax [] pce: 8)‏ = مرو 11 7 7 ‏شرط لازم برای بيشینه شدن تابع بالا: صفرشدن مشتق آن برحسب 9 می‌باشد ‎ ‏با تعریف تابع لكاريتمى بصورت ‏:مد [ ] )@1 ‎at ‏ل ‏2 ده شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه ی سنعتی نوشیروانی بابل جلسه دوم درس. حسين ی کردی ‎ 

صفحه 28:
با جایگزینی تابع لا نتم, بحاه, تانم حگال » ذار نم 7۱0/0۵: 9. 1 2۳:0 6: 18 2 ۳ ۲ خواص تخمین گر :111 - این تخمینگر بدون بایاس می‌باشد. یعنی میانگین تخمین با خودش برابر است me - تخمین‌گر سازگار می‌باشد. یعنی برای مقادیر بزرگ از ۸۷ واریانس تخمین به صفر میل می‌کند - تخمین گر 1/11 باند پایین کرامررائو (کوچکترین واریانس ممکن) را برآورده می‌کند - برای مقادیر بزرگ ۸۷ این تخمین گر دارای توزیع نرمال می‌باشد مثال: تخمین .1۷1 از یک داده ۷ نقطه‌ای با میانگین معلوم و واریلئس نامشخص را بيابید. این نقاط توسط یک تابع 061 گوسی یک بعدی تولید شده‌اند. ‎Ge — wt‏ | 5 ید نسحت )مه سل ][ ‎Toco =n‏ = )100 ‎ei Vivo? 20?‏ 5-0 ‏ل ‏2 — شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه ی سنعتی نوشیروانی بابل جلسه دوم درس. حسين ی کردی ‎ 

صفحه 29:
ie sa Vee -w? = 0 ‏غ26‎ ‎i 2 - 2 320 ‏#مر-‎ ‎a - انم - 164 رق تخمین بالا دارای بایاس میباشد؛ :بر ۷, بسمت بینهایت "مین سد 2 ور 1 = ‎Fez)‏ ‏۶-۲- تخمین بیشینه احتمال پسین ‏ رس سر تونتهادمم ۵ ‎(Maximum‏ v ن تخمین 9 را بردار تصادفی فرض می‌کنیم و مقدارش را بشرط مشاهده نمونه‌های داده تخمین می‌زنيم. با قانون بیز داریم در 0۲ s POP = POPOL OX) - ‏نج‎ ‎—— 7 صرح شناسایی آماری الگو ترم ‎jul‏ سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر داندگاه کی سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی 

صفحه 30:
۲ تخمین ۷1۳ با بیشینه کردن احتمال ( 0|26) 0 تعریف می‌شود 0 «وا زارط ع 0- جتفيريك : مبيرة ” اختلاف تخمین‌های ,1۷11 و 1۸۳ در وجود (9) 9 می‌باشد ۴-۳- استنتاج بیزین ” فرض‌می‌شود ۸۷ بردار آموزشی 2 موجود باشد و اطلاعات پیشین درباره تابع‌چگالی‌احتمال (0) ط نیز مفروض باشد. هدف محاسبه تابع‌چگالی‌احتمال‌شرطی (0] ‎D(X‏ و می‌دانیم ۳ - ۱ ۳0۳۵ ۲0۳۵ POO ‏زر‎ ۲۱۵۵ 20 POX مشکل رولبط بالاء عدم وج ‎Tx ul‏ " !۸6۲ تفاده از روش‌های عددی نظیر روش زنجيره ماركوف-مونت كارلو (80)01/100) جهت حل مُسئله ل 5 —— شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه ی سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی 

صفحه 31:
ملاحظات ۷ سه‌تخمین‌گر ۷1۸۳ ,۷1 و 101 بازای مقادیر بزرگ ۸ یکسان ‎ody‏ و در مقادیر کوجک متفاوت 7 ” براى داددهاى با طول محدود: تخمينكرهاى :1/11 و ‎poole MAP‏ مىياشند ۴-۴- تخمین بیشینه آنتروپی آنتروپی ريشه در تثوری اطلاعات شانون دارد. اندازه‌ای برای سنجش تصادفی‌بودن اطلاعات (بردار ویژگی) خروجی یک سامانه. برای یک متغیر تصادفی "۲ فرض می‌شود تلبع (16) 0 نامعین بع سل >> فلوم (میانگتن: وارناسی) ‎il aly‏ بيشینه آنترویی تابع 00 نامعلوم را برای بيشیته نمودن انتگرال بالا با قیود داده شده تخمین زیت مثال: متفیر تصادفی ۶ بین یلا گ 16 گ را غیرصفر و بقیه جاها صفر است. تخمین بیشینه ل 2 — شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه ی سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی 

صفحه 32:
انتروپی را باتوجه به قید زیر بدست آورید. ۳ با استفاده از ضرایب لاگرانة ده - رمرم | - - ولا ‎ath,‏ ‎Boo‏ = -] ‏ما‎ a) + 1} ax با صفر قراردادن معادله بالاء و استعاده از هید داده سده داریم PO) = ‏موه‎ - 1( fx) bo [ otherwise ۴ طبق ب آنتروپی. تابع 0 متفیر تصادفی > دارای توزیع یکنواخت است 9 5 —— شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه ی سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی 

صفحه 33:
(Mixture models) .5 ji ‏ه-؟- مدلهاى‎ 7 یکیاز راه‌های مدل‌کردن یک تلبع (6) 0 استفاده از ترکیب خطی تولبع چگللی بصورت زیر می‌باشد ‎j‏ ۳ ‎Sipe ٩-۱ ۳ 1‏ - یر ع 2 ‎ia‏ ‏۲ اولین گام. انتخاب مجموعه‌ای از مولفه‌های چگالی پارامتری بشکل (26|[0) 0 و محاسبه پارامترهای 0 و ‎Dy J= 1, 2, 0 J‏ برحسب مجموعه داده آموزش The expectation maximization) 6b, s40f cindy pit yS/ algorithm ¥ اطلاعات اشتباه برچسب موجب می‌شود عا مسئله دارای مجموعه‌داده غیرکامل شود: زوش 4 برای این نوع داده بسیار مناسب می‌باشد ‎v‏ هدف ‎Lowceio= [pyro dy ta s8gy ce!‏ از >> تویر - دوعه 21۳5 1 رد ‎ris‏ 7 0 _ bu: eso 5-7 ‏وكام‎ ‎—— 2 ‏دانشکده مهندسی برق و کامپیوتر دانشگاه ی‎ ٩۱-۹۲ ‏شناسایی آماری الگو ترم پاییز سال تحصیلی‎ ‏سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی‎ 

صفحه 34:
۷ از آنجاییکه رها در دسترس نمی‌باشند, الگوریتم ]33۷ امید ریاضی تلبع لگاریتم همانندی را مشروط به نمونه‌های مشاهده (ها) در هر مرحله بیشینه می‌کند ۴ گام 8 در مرحله (تکرار) 1 + و موجود بودن ( 0)2؛ امید زير را حساب می‌کنیم ‎=r ۳ 0‏ 000 3 * گام ۸8 تخمین 1 + ۶ از 9 را با بيشينه دردن رابطه زير حساب م ىكنيم ‎۳ ‎1.220: 00> _ ‎۵+ 0 ‏برای اجراء از یک حدس اولیه (0)0 شروع کرده و تکرار مراحل تا ||ع||( 0)۶-(1+ 6)6 ادامه می‌یابد ‏کاربرد 171۷1 برای مسئله مدلسازی ترکیبی ‏۷ در مدل‌ترکیبی, مجموعه‌داده کامل بصورت رل ,66 ‎N‏ :۰۰ عدد صحیح بین [۱, [] است؛ این اندیس نشان می‌دهد ترکیب از دام ,1 تولید شده‌است ‏6-۲ وجود داشته و نیز یک ‎ ‏ل ‏2 ده شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه ی سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی ‎ 

صفحه 35:
از احتمال شرطی و قانون بیز داریم: ‎Pp jes = Psa lies OP),‏ ” با فرض استقلال متقابل نمونه‌ها و تابع لگاریتمی شباهت ‎Ves OP)‏ اس = )@1 بیایید .۰۰ ,2-1۵ باشد و بردر بارامتر نامعلوم بصورت 10,۳۳ 7 9 ” اميد ریاضی روی داده مشاهده‌نشده بشرط نمونه‌های‌آموزش و مقدار فعلی 600 تخمین زده می‌شود Estep: 906: 6)00( - 7 Inc pc ‏اند‎ ۳ یر( مزامه ما رز > احير م ‎OY Peles OO relia: OP)‏ = 9 ‎tft‏ — 5 —— شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه ی سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی 

صفحه 36:
۲ برای ترکیب کوسی با ماتریس کوواربانس قطری, 2 621 داریم 5 1 0 Boxe: ‏)ی‎ me ) (2707) 27 ‎Y‏ علاومبر احتمال‌پیشین. ۳ مقادیر بل و ,0 برحسب ل ,... ,2 ,1 [ّنامعلوم بوده و 0 یک بردار (1+ ) [بعدی می‌باشد. با ادغام معادلات داریم: ‎ ‎ ‎ ‏* مرحله ظ: ‎vo‏ ‏د ‎i‏ بر سل نام + ‎ey?‏ - ماو - مگ 0 ‎=P sox:‏ )0:00 7 م " مرحله ‎M‏ ‎Wy Pi x‏ ديه نس الك يط دور ور ‎ey Pine: ODD‏ + رم - اه کل ۱ ‎DIF‏ + )رم ‎Deas PUI ai A)‏ ( +26 1۳-۳60 1 ‎port D=‏ ‏0 مد ۸ 2 شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه ی سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی ‎ 

صفحه 37:
” برای تکمیل مراحل الگوریتم ‎EM‏ نیاز به محاسبه احتمالات زیر داریم: ‎ODEO‏ رسیم ‎eee‏ ۳ ‎hee: OD) = Bens‏ ‎ ‏7 ‏تن ‎١‏ 60 تزا 2 - (60 مر مشكل روش بالا در تخمين يارا ‎Fl‏ باشد. یک راهکار پرای حل مشکلء استفاده از تکنیک تخمین خطا است. ۴-۶- تخمین غیرپارامتری یک تکنیک مبتنی‌بر تخمین هیستوگرامی از تابع چگالی احتمال ۳ مراحل تخمین 006 بصورت ‏- ابتدا محور فضای ویژگی را به 9 قسمت تقسیم می‌کنیم ‎ ‏- احتمال یک نمونه ۶ متعلق به یک قسمت برای هر بخش تخمین‌زده می‌شود ‏- اگر ۸۷ تعداد کل نمونه‌ها باشد و بل تای آن در یک قسمت قرار گیرد ‏9 ‏5 —— شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه ی ‏سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی ‎ 

صفحه 38:
آنگاه با نسبت فرکانسی» احتمال آن قسمت برایر | | - اكر ۸ بسمت بینهایت میل کند. آنگاه تخمین بالا به مقدار واقعی م می‌رسد. مقدار ۴ بصورت زیر تخمین‌زده می؟نود؛ نقطه میانی قسمت مربوطه است © FIGURE 2.18 Probabiliy density function approximation by the histogram method with (a) small and (b) large-size intervals (bins). شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی 

صفحه 39:
- برای مقادیر کوچک ‏ مقدار م در قسمت مربوطه ثلبت است؛ در عمل برای تخمین مناسب بایستی ۸۷ باندازه کافی بزرگ. " بقدر کافی کوچک 9 ‎My‏ نيز بمقدار كافى زياد (Parzen windows) 9} ,b cleo xy 7 درحالت چند بعدی. بجای قسمتهای جعبه‌ای باندازه ۱ فضای 1 بعدی‌ویژگی به مکعب‌های با طول ظ و حجم 1 تقسیم می‌نزد: پیت ۰:7 بردارهای ویژگی باشند. تابع زیر را تعریف می‌کن -- 2 > ار ‎for‏ 1 4) = 0 otherwise ” جاییکه !۱۰۰۰.۰ < #* مولفه‌های بردار ** هستند. بعبارتی» تمام مقادیری از ** که در داخل‌مکعبی به طول ۱ و مرکزیت مبداء قرارگیرند.مقدار ۱ داده و مابقی صفر می‌شوند در ایتخالت: براى تخمين احتمال 709 داريم: (قجم ري ) ل - مر ل 2 ده شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه ی سنعتی نوشیروانی بابل جلسه دوم درس. حسين ی کردی 

صفحه 40:
” رابطه قبلی, تابع 0 را با استفاده بسط به توابع پله گسسته تخمین می ” تابع هموارساز ۵ به توابع کرنل, تولبع پتانسیل, و یا پنجره‌های‌پارزن معروف هستند. یکی‌از این توابع کرنل می‌تواند تابع گوسی بصورت (,00) ‎1٩‏ باشد. در اینحالت داریم: همست )وه دود ۷2 ‎os‏ ‏كه ۳ 05 ‎a1 HO‏ و © @ FIGURE 2.19 In the two-dimensional space (a) the function #(xj) is equal to one for every point, x7, inside the square of unit side length, centered at the origin and equal to zero for every point outside it (b) The function & (45) is equal to unity for every point x, inside the square with side length [4 LusLnd equal to b, centered at x and zero for all the other points. a age err OF ‏سنعتی نوشیرو.ی وم ترس. سین‎ Me 

صفحه 41:
” رابطه‌قبلی تلبع ۳0 را با میانگین لا تبع‌گوسی با مراکز متفاوت برحسب مجموعه آموزش تقریب می‌زند ۲ کوچکتر کردن « یعنی شبیه‌تر شدن شکل تابع گوسی به یک تابع دلتا بمرکزیت میانگین در لین روش, تعداد تولبع گوسی مرتبط با تعداد نقاط بوده و مقدار " نیز توسط کاربر تعیین می‌شود. ولی در ۳۷1 تعداد تولبع گوسی بطور مستقل از تعداد نقاط آموزش با یک روش بهینه‌سازی ت می‌گردد روش پارزن یک تخمین‌گر بدون بایاس مستقل از اندزه داده. ۸۷ می‌باشد. برای ۸۷ ثلبت. «! کوچکتر موجب بیشتر شدن واریانس تخمین می‌شود اگر 9 ثابت باشد. آنگاه با افزلیش ۷ مقدار واریانس کاهش می‌یابد. چونکه نقاط فضای تخمین چگالتر می‌شود. لذا برای ‏ کوچکتر با ۸۷ بزرگتر تخمین بهتر می‌باشد ملاحظات % در عمل با تعداد محدود داده. نا برای انتخاب مناسب بایستی یک مقایسه بین " و ۷ انجام گیرد. یک روش انتخاب متوالی ‏ جهت کمینه کردن خطای طبقه‌بندی 9 5 —— شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه ی سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی 

صفحه 42:
0 20x 9 Gaussian me ona 0.06 20 Peo on 5 vo oof [| ۱ 10 20# 0 10 @ pe oa2 FIGURE 2.20 Roproximation (ull-black line) of a paf dotted-red line) via Parzen windows, using Gaussian 0.1 and 20,000 samples. Observe kernels with (a) 6 = 0.1 and 1,000 training samples and (b)b the influence of the number of samples on the smoathness ofthe resulting estimate, اهر ره 0.06 10 @ FIGURE 2.21 ‘Approximation (ful-black line) of a pdf (dotted-red line) via Parzen windows, ‘Sand 1,000training samples and (b) = 08.and 20,000 samples. Obsarve ۸ ق و کامپیوتر دانشگاه that, in this case, increasing the number of samples has litle influence on the smoothness as ‘eal ton thes ‏أ اكاك لد دحك‎ acccaricy dl tea Faailivg avira: 

صفحه 43:
oz 0.08 99 FIGURE 2.22 Approximation of @ two-dimensional pdf, shown in (a), via Parzen windows, using two- dimensional Gaussian kernels with (b) = 0.08 and N= 1000 samples, (c) 6 =0.05 and N = 20000 samples and (d) b= 0.8 and V = 20000 samples. Large values of b lead to smooth estimates, but the approximation accuracy is low (the estimate is highly biased), as one can observe by comparing (a) with (d). For small values of & the estimate is more noisy in appear- ance, but it becomes smoother as the number af samples increases, (b) and (c). The smaller ‎the rand the larger the, the better the approximation accuracy‏ مسحت شناسایی آماری الگو ترم پا 4 ‎ ‏ز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه کم سنعتی نوشیروانی بابل جلسه دوم درس, حسین منتظری کردی 5 ‎ ‎ ‎ ‎ 

صفحه 44:
با افزایش ابعاد بردار ویژگی. مسئله کم بودن ۸۷ بیشتر نمایان می‌شود و برخی از نواحی فضای ویژگی دارای نقاط پراکنده می‌شوند. لذا؛ برای حل اين مشكل بهتر است از 8 متغیر استفاده شود (در نقاط پراکنده از «بزرگ) چگالی با نزدیکترین همسایه (101 نع اوعت2۵ ع ۷ در تخمین پارزن. حجم اطراف نقطه ‏ ثلبت برابر 2 درنظر گرفته‌شد و لذا. تعداد ,رک از یک نقطه به نقطه دیگر بطور تصادفی دارای تغییر زیاد می‌باشد در تخمین 5 نزدیکترین‌همسایه. نقش ‎Gage Ky gh‏ می‌شود. مقدار 16 ,رركا ثابت و فاصله حجم اطراف ۲ هر لحظه تنظیم می‌شود "۲ بنابراین, در سطوح کم چگال مقدار حجم بزرگ و در سطوح پر چگال مقدار حجم کوچک تخمین‌گر در روش ۶ ندیکترین همسایه بصورت ‎v‏ از نقطه نظر عملی با ورود یک برداد وی ورد فاصله آن تا تمامی بردارهای آموزش از همه ‎NV‏ 0 ‎ ‏کلاس‌ها محاسبه می‌شود. ‏9 ‏5 —— شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه ی ‏سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی ‎ 

صفحه 45:
* طبقه‌بندی 16۷ دو کلاسه ۷ فرض ,۳ شعاع ابرکره بمرکز ‏ شامل ۶ نقطه از ,60 و :1 شعاع ابرکره شامل ۶ نقطه از یله باشند (لزوما نقاط 1 برای کلاسها بیابرنیستند)؛ اگر ,۷ و ,۷ بترتیب حجم کره‌ها باشند. با آزمودن نسبت شباهت ey Peon) dat = Aza ~ P@D Aaa — Mit assign x t0.0\(@2) if Ny P@2) Ant — Azz 7 ‏درم دار‎ diz = An ”" حجم ابربیضی برای فاصله ماهالانوییس به اندازه ۶ برحسب حجم کره با شعاع واحد ۲ بکارگیری فاصله اقل ی ناه ملاحظات مها ,24/0/۵ "۲ هرچند کارآیی تخمین‌گرهای غیرب ۲0 ژگی کاهش aati, oda 9 5 —— شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه ی سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی 

صفحه 46:
می‌یابد. ولی بعنوان طبقه‌بند از عملکرد مطلوبی برخوردار هستند مثال: دو کلاس هم احتمال با توزیع نقاط بصورت: مشکی (,(0)» و آبی (,0) را بگیرید. هدف طبقه‌نندء, نقطه ستاه به مشخصه ۰۰۰۷۱ ۰:۶) با .هش . 51 م باشد 13 ‏اوه‎ = 06] 4 03 ‏تمعد‎ ‎0 8 94 ۰ 1 wm FIGURE 2.24 The setup for the example 2.9. The point denoted by a “star” is classified to the class «, of the red paints. The & = 5 nearest neghbers from this classe within a smaller area compared toT ‏شناسایی‎ the five nearest neighbors coming from the other class. a age en ‏وت‎ Se ae Oe ‏سنعتی نوشورر ی‎ Me 

صفحه 47:
- با استفاده از فاصله اقلیدسی, ۵ همسایه نزدیکتر در کلاسهای ,0 و ,00 تعیین شدند - برای محاسبه حجم. شعاع متناظر با دورترین همسایه از مرکز ستاره محاسبه می‌شود؛ به ترتیب مقادیر 02/2 و ۷2:برای کلاسهای ۱ و ۲ - تعداد نقاط کلاس یک پرابر 59 < ,2۷ و کلاس دو نیز 01 رل با توجه به دایروی بودن سطح تصمیم مقادیر سطوح دو کلاس بترتیب برابر - با صرفنظر کردن از ضرلیب خطرپذیری, نقطه ستاره به کلاس دو اختصاص می‌یابد ۴-۷- طبقه‌بند ۱81۷6 بیز ‎Y‏ برای تخمین 308 در یک فضای ویژگی ‏ بعدی به 7۷ نقطه آموزش نیز داریم. برای حل ‏مشکل, مى توانيم هر ویژگی در بردار ویژگی ۱*۰۰ ۳ ۱:7 مستقل فرض نماییم با این فرض می‌توان نوشت ‎Hesiod = [] ojo, 7 = 1,2... 2 ‎1 ‏شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی ‎ 

صفحه 48:
۲ مسئله اكنون به تخمين / تبع‌چگالی‌احتمال تبدیل می‌شود و برای هر کلاس تعداد ‎LX‏ ‏۷ نقطه داده کفایت می‌کند. اين تخمین به 7۷2۲78 بیز معروف است % طبقه‌بند 23۷6[ بیز نمونه ناماند.. ...»۱ -» زاجة قلخن اقظ بصورت ژیر اختصاص می‌دهد 1 om = arg max [] p60), 6 1,2)... ۳11 مثال: بردارویژگی ۵.....7«,: - »را با مقادیر باینری ویژگی»۱ ۰۳ 0 درنظر بگیرید. همچنین» احتمال‌های شرطی کلاس‌ها بترتیب "۳۲۳۲" و ۳ می‌باشند. برای یک ۶ با مقدار معلوم طبق قاعده بیز و نسبت شباهت با حداقل خطای احتمال داریم >on با اعمال فرض استقلال آماری (جهت سادگی تخمین احتمال) خواهیم داشت 1 Posies) > ] ۱ = pat Poston = [Jaa aa مي © 2 — شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه ی سنعتی نوشیروانی بابل جلسه دوم درس. حسين ی کردی 

صفحه 49:
با گرفتن لگارینم از نسبث شباهت (رسیدن به یک تلیع تملیز خطی) بانوجه به توابع احتمال شرطی داریم ۱ يه یا سسه مس ده بسادگی می‌توان نوشت وماج ‎g(a) = wx‏ فى ‎Pid =a‏ ‎qi =po.‏ ره كرو ‎Poon)‏ ‏تسا ۳ ‎a Dee Ta‏ 07 تعداد تخمین‌های لازم در اینحالت برابر 21 جهت محاسبه 0 و ]© مىباشد "ویژگی‌های‌بایتری در تشخیص‌پزشکی با اختصاص مقدار ۱ به حللت نرمال و ۰ به مورد غیر نرمال کاربرد دارد ۰ — سح شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه ی سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی 

صفحه 50:
۵- قاعده نزدیکترین همسایه ” در ابتدقاعده نزدیکترین همسایه برای یک بردار ویژگی ‏ و یک اندازه فاصله بشرح زیر بیان می‌شود - برای ۷ بردار آموزش, 4 همسایه نزدیکتر باتوجه به برچسب کلاسها تعیین می‌شوند. مقدار ۸ برای مسئله دو کلاسه فرد و برای ۸۸ کلاسه نبایستی مضرب صحیح از تعداد کلاس باشد. - در بين اين 6 نمونه. تعداد بردارهای 7 متعلق به ,00 را تعیین م ىكنيم. بوضوح - بردار « به کلاس ,00 با بيشترين 4 اختصاص مىيابد % اندازه‌های فاصله نظیر اقلیدسی, ماهالانوبیس, قدرمطلق فاصله یا نرم یک ‎ow gL)‏ ” براى 1 > عل ساد‌ترین نوع الگوریتم بنام قاعده نزدیکترین همسایه ‎(NN)‏ بعبارتى ديكر يك بزدار وزودی ناظتباتن به برچسسب کلاس نردیکترین جعسایه اختضامن: می‌یابی برای تعداد داده آموزشی کافی, این روش ساده دارای عملکرد مناسب می‌باشد و برای میل ۸ به مقدار بینهایت. میزان خطای طبقه‌بندی برای 7۷۷ به مقادیر زیر محدود می‌شود 9 5 سید شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه ی سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی 

صفحه 51:
1 ” در رابطه بالا 2 خطاى بهينه بيز می‌باشد. برای حالت دو کلاسه و طبقه‌بند 16۷۷ 2۳9 1 مومع ود وم .عل + وم دورط دود ‎Paw = Pa + |‏ = وا حب + ‎Paw = Pa‏ = ۲ برای مقادیر مختلف ۶ و مقدار ۷ بزرگ, قاعده 16/۷/۷ به طبقه‌بند بیزین میل می‌کند ملاحظات ‎M‏ وجود پیچیدگی برای جستجوی نزدیکترین همسایه‌ها در تکنیک ۷2۷ع میزان محاسبات متناسب ‏با 10 برای مجموعفداده با 2۷ کوچک. کارآیی روش 167۷7۷ کاهش می‌یابد. استفاده از روش‌های ویرایش: تعریف فاصله سازگار با داده, و شیوه‌های دیگر جهت افزایش کارآیی برای 1 < 6 در قاعده‌نزدیکترین‌همسایه. بردارهای‌ویژگی‌آموزش فضای‌ویژگی 1 بعدی رابه ۷ ناحیه ,4 معروف به سنگ‌فرش‌های‌ورونی (۱561121101 زیر تقسیم می‌کنند ‏بصورت ‎ ‏الع اود نمه > ود عه 1 ل 5 سید ‏شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه ی ‏سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی ‎ 

صفحه 52:
45 شاملتمام نقاطی‌در فضالست" برحسفاصله 4 نزدیکتر ماش ۶- شبکه‌های ی ‎v‏ در ابتدا با قاعده زنجیره‌ای احتمال برای ویژگیهای * Jeepers J Ses bis ame f= 12. تشروع می‌کنیم ]۱ AD) = POI APO III—2 2. PORb PGA) می‌توان رابطه بالا را بصورت زیر نوشت 0 لابرلى 9 ردریج ra), AS = boa), Ag = lap.aci]. As = a). شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی 1 هب6 ] [ (م - حدم | Haske 8D ‏تام‎ ‏و‎ ره ,داوم ‎PGs. x1) = peaked‏ ‎pon)‏ Porky ل حح = 

صفحه 53:
بصورت گرافیکی, گره‌ها مبین هر ویژگی بوده و والدین هر ويزكى. راك اعضای بل می‌باشند که با خطوط مستقیم به گره ویژگی ارتباط می‌یابند روابط بالاء میتنی‌بز فرضیات استقلال ور نوشته شده‌اند. يديهى ات مم می‌توان گرافهای دیگری نیز برای تخمین توابع چگالی احتمال بالا رسم نمود. ” طبقه‌بند 21۷6 بیز حالت خاصی از شبکه بيزين با (© > بل مىباشد ۲ شبکه بیزین یک گراف مستقیم مارپیج (10/۵63) با وس مرتبط با هر ویژگی است 9 5 —— شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه ی سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی 

صفحه 54:
x 5 6 3 Figure 3.6 Graphical representations of the multivariate density p(xy.....46) = plvglxs.x5) ‏راو اوه تحت رای مامتا‎ v تعیین کامل شبکه بیزین به دانستهای زیر نیاز دارد - احتمال گره‌های ريشه (گره‌هایی که والدین نداشته باشند) - احتمالهای شرطی گره‌های غیر ربشه - محاسبه احتمال‌های توام با ضرب تمام احتمال‌های‌شرطی در احتمال‌های‌پیشین گره‌های ریش 9 5 —— شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه ی سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی 

صفحه 55:
در ابتدا قاعده نزدیکترین همسایه برای یک بردار ویژگی ۶ و یک اندازه فاصله بشرح زیر بیان می‌شود ۵- قاعده نزدیکترین همسایه 7 در ابتدا قاعده نودیکترین همسایه برای یک بردار ویژگی ۶ و یک اندازه فاصله بشرح زیر بیان می‌شود - برای ۸۷ بردار آموزش. ۶ همسایه نزدیکتر باتوجه به برچسب کلاسها تعیین می‌شوند. مقدار براى مسئله دو كلاسه فرد و براى 24 كلاسه نبايستى مضرب صحيح از تعداد کلاس باشد. - در بين اين © نمونه. تعداد بردارهاى بك متعلق به ,00 را تعيين می‌کنیم. بوضو<ه - ,۸ - بردار * به كلاس ,00 با بيشترين ,ك4 اختصاص مىيابد ل 2 5 شناسایی آماری الگو ترم پاییز سال تحصیلی ‎٩۱-۹۲‏ دانشکده مهندسی برق و کامپیوتر دانشگاه ی سنعتی نوشیروانی بابل جلسه دوم درس. حسین منتظری کردی