صفحه 1:
موضوع : شبکههای عصبی برای طبقهبندی, یک مرور
Qeurd Ortworks Por ChssPicatod | ® Gurvey
:ارائه دهندگان
شاهین
ای
اي
صفحه 2:
© شم ی
@ تئوری طبقه بندی بیزین
@ شبکه های عصبی و طبقه بندی کننده های مرسوم
eens os ©
@ كلاس بندى تجميعى |
@ انتخاب متغفیرهای ويژگي
© جسيندى
صفحه 3:
سا مقدمه 2
طبقه بندى يكى از برتكرارترين وظايف ايجاد تصمیم در فعالیت های انسان است
* بسيارى مسائل مى توانند به عنوان مسائل طبقه بندى تلقى شود. مثلا
”بيش بينى ورشكستكى
۳ دادن وام
۲ تشخیص پزشکی
تشخیص کاراکتر دست خط
تشخیص گفتار
v
v
طبقه بندی کننده های آماری مبتنی بر تئوری تصمیم +
صفحه 4:
2 مقدمه (ادامه) kh
< شبکه های عصبی یک ابزار مهم برای طبقه بندی محسوب می شود
مزیت های شبکه های عصبی
۷ روش های خود تطبیقی برای مبنای داده هستند
Y می تواند هر تابعی را با دقت دلخواه تخمین بزند
"۲ مدل های غیر خطی هستند
" در تخمين احتمالات عقبى (بهاتحاصم دجم ) توانا هستند
تعدادى از مسائل با توجه به شبكه هاى عصبى هنوز به طور موفقيت آميزى حل
نشده اند
مه( جح
صفحه 5:
۲ تتوری طبقه بندی‌بیزین TH
< تئوری تصمیم بیزین پایه روش های آماری است
< مسئله طبقه بندی به 09,5-M را در نظر بگیرید:
% 6 بسودار تیا آ) يعد
۲ : متفییر عضویت
” : احتمال عقبی گروه
” : تابع جكالى احتمال
صفحه 6:
7۲ تتوری طبقه بندی بیزین(ادامه) ]7۳0
“7 فرضن کفنیذ ذاده ا مشاهذه:شذه است: احثمال خطاى طبقه بندى :يه صووت زیر اسف
اكر هدف به حداقل رساندن نرخ طبقه بندى اشتباه باشد . يس از قانون طبقه بندى
بيزين به طور كسترده به صورت زير استفاده مى كنيم :
770
> توایع جدا کننده خطی و درجه دوم می‌توانند با اتخاذ توزیع نرمال چند متغیره برای
چگالی شرطی از بردار صفت 6 نتیجه شوند
ووره
صفحه 7:
7۲ تتوری طبقه بندی بیزین(ادامه) TE
< دو مشکل در پذیرقتن قانون تصمیم بیز ساده :
۲ در اکثر مواقع تابع جكالى معلوم نیست
به اثر خطای طبقه بندی اشتباه بی تفاوث هستیم
2 راهکار : نسبت دادن هزینه به خطای طبقه بندی اشتباه
۲ :هزینه طبقه بندی اشتباه 1 به گروه لآ در صورتی که در اصل متعلق به گروه atl
۲ هزینه مورد انتظار به صورت ز
ی
yet
* قانون طبقه بندی بیزین به طوری کلی به صورت زیر است :
مر ترس
۵
صفحه 8:
7 نتخمین احتمال عقبی از طریق شبکه های عصبی |7770
در مسائل طبقه بندى مى توان با استفاده از شبکه های عصبی,تخمینی از احتمالات عقبی
بدست آورد
۶ يك شبكة عصبى براق مسطه طیقهابتدتی می تواند بة صورت یک ایغ تگاشت فیناه شود
از gilt نقمین کین سوبعات LAWS pall lel jo یه سور نانوی الست
> [لمینمنصر ۳000 به صویتویر تعیزمی‌شود:
۶ می توان انواع دیگر تابع خطا را بکار برد.مثل: تابع آنتروپی تقابلی
ووره
صفحه 9:
۱ نب ای سب رن دی ده دای مدرم 5
طبقه کننده های آماری مبتنی بر تلوری تصمیم بیزین هستند. که احتمالات عقب
اصلى را بازى مىكند
قي
* كد كردن مختلف اعضاى خروجى :
ال لته بلیی انب تقوم
اگر شی متعلق به كلاس ١ باشد, خروجى به صورت ١
" اكر شى متعلق به كلاس 7 باشد, خروجى به صورت ١
7
تابع جدا کننده زیر را داريم :
اه سحت ]ماع - د اه
6/66 ۰
\\ عم
صفحه 10:
97 ان شیک هی عبی وه دی ند ها TH Hr
> 182110375 تابمتكرد با كنترلهدفمند بيجيدكىيرسبترونة كلايه, مرنهاى
تصميم طبقه بندىكنندم برلبر يا نزهيكلا طبقه بندیکننده آماریزیر هستند:
” طبقه بندى كننده فاصله 18261106810
تابع جدا کننده خطی ۳1967
” تابع جدا کننده خطی ۳1516 با شبه وارونه سازی ماتریس کواریانس
تابع جدا کننده خطی 315116۳ تعمیم یافته
منظم کردن تحلیل جدا کننده خطی
۷ طبقه بندی کننده حداقل خطای تجربی
Y طبقه بندی کننده حداکثر اختلاف
2۷ 40/99 عم
صفحه 11:
Terenas |
> رگرسیون دو حالته (1607655101 10156 ابزار طبقه بندی کننده مهم دیگر
است, که در تشخیص پزشکی و مطالعات امراض همه گیر استفاده می شود.غالبا بر تحلیل
جدا کننده ترجیح داده می شود
نتیجه آزمایش جامع ۷]1۳001 که در مطالعه مقایسه ای پروژه ٩111-00 بود و ۲
روش طبقه بندی (شبکه های عصبی , طبقه بندی کننده های آماری و یادگیری ماشین)
مقایسه شده بود, نشان داد که یک طبقه بندی کننده خوب برای همه مجموعه داده ها
وجود ندارد
«seo: \ جح
۱
صفحه 12:
\ 48/99 جح
| یادگیری و تعمیم 2
<< یادگیری: توانایی در تخمین رفتار با توجه به داده آموزشی
< تعمیم : تونایی پیش بینی خوب, فراتر از داده های آموزشی
® تعدادی از موضوعات طراحی شبکه کاربردی وابسته به یادگیری و تعمیم :
” اندازه شبکه
¥ اندازه نمونه
7 انتخاب مدل
انتخاب ویژگی
* وطنا112066: مدرساهم و غيرقاب[إنعطافمثلطبقه بندىكنندم خطى
* وطناة076 : مدل ييجيده ولمنعطافيذير. مثلشبكه هاوعصبى
> دو پدیده بالا از طريق تجزيه bs Bias-plus-Variance .235
صفحه 13:
7 ترکیب بایاس و واریانس از خطای پیش بینی 777
باياس : اختلاف بین خروجی تابع اصلی با تابعی که تخمین زده شده است
2 واریانس : حساسیت تابع تخمینی به مجموعه داده های آموزشی
< مثالی از بایاس و واریانس +
out out
pin in
I
Ignore the data => Get every data point >
Big approximation errors (high bias) ‘No approximation errors (zero bias)
‘No vatiation between data sets (no variance) ‘Variation between data sets (high variance)
saa 49/99 \
صفحه 14:
7 1 ترتیب ابا و وابانی TL, eee
يك مسئله طبقه بندی کننده دو-گروهی را در نظر بگیرید که متفییر خروجی 7
باینری است. داریم :
” با توجه به فرمول های قبلی , انتظار شرطی 7 با توجه به به صورت زیر است :
” یک مجموعه داده آموزشی داریم
v
هدف : بيدا كردن يك تخمين از (1”)3(مثلا ) , که مجموع خطای تخمینی حداقل شود.پس داریم
صفحه 15:
TL ee ecu 7
حالت مطلوب این است که بایاس و واریانس کم باشند اما به طور همزمان غير ممکن است
2 یک مدل خوب بایستی به خوبی بين باياس مدل و واريانس مدل تعادل برقرار کند
> کارهای انجام گرفته در ان حوزه :
trade off. }s:Geman ¥ بسینب-ایاسو واریانستحتتابع هدفدو جمله لی
” 01 1۷01۳: توسعه مفهوم بایاس‌به عاد- اریانسدر مفهوم بسیزین
¥ وحم جح ه1216 نسخه متفمتىاز باياسواييانسبرلئة ولبع ١-٠١ از مسائ لطبقه يبندى
2 16/99 <
صفحه 16:
111 هش خطاى بيش ببنى 1555
يك مشكل رايج 0176181326 است كه ناشى از واريانس بالاست در تعميم است.
۶ 216136 نشانداد که واریانسفاکتور مهمترعاز 8125 در کارلیی‌پیشبینی
لست
> صهصزم13 نشانداد روشهایک ااسبندی‌شبکه عصبی‌جزء روشهاین اپایدار هستند:
۲ به این معتی که تغییر کوچک در دادهی آموزشی سیب تغییر بزرگ در نتیجه تست خواهد شد.
بنابراین سشترین تلاش در زمبنه کاهش 616106 0۷) است.
> 49/99 عم
صفحه 17:
= تعمیم و ie
* یک نتیجه بسیار مهم از ۳101162163 این بودکه الگوریتمهای بهیته در مرحله
Lal نت مه لام ی او
آموزش نتایج Vole :
صفحه 18:
= کاهش واربانس 2
برخی از روشهای ارائه شده برای کاهش واریانس:
Cross Validation ¥
>
۲ آموزش با تخصیص پنالتی
Weight decay ¥
Underfitting Overtitting
هرس نود ۲
Optimum
Error of Prediction
Complexity of Model
46/99
صفحه 19:
| دیس .تن ...55
2 یک روش بسیار پرطرفدار در کاهش خطای تعمیم
7 تولید بر اساس ترکیب چندین 01285166۳
2 ایده کلی: بر اساس میانگینگیری و رایگیری
مزیت: سیب کاهش واریانسن
< یه ضورجه تور اثبات شده استد که کاراتی این زوس بدعر از هر کدام از
6 اهای آن نیست, در صورتی که:
% پیشبینی هر کدام از اين wast Uncorrelated , Unbiased tool,
صفحه 20:
SM oss; |
> راهکارهای زیر برای تولید این دسته ارائه
۵
eo ensemble output
‘combine neiwork outputs
شده است:
% معماری چندگانه: شبکه
“” یک معماری و آموزش با الگوریتمهای مختلف
neon nan 21 - Rewer N وزنهای شروع تصادفی مد Y
” 01855186 هاىمختلف
۷ آموزش اجزاء شبکه مختلف توسط دادههای متفاوت input ©
همانند روشهای باز نمونه گیری داده
(Resampling
0 جح
صفحه 21:
سا روشهای تر کیب 012651867 _
از جمله این روشها:
پرطرفدارترین ایده؛ میانگینگیری ساده از خروجی 01855166۲ مختلف
۷ و میانگینگیری وزندار
> روشهای غیرخطی:
belief-based >
> Rank-based information »
Voting Schema >
Order statistics *
5/9
صفحه 22:
111 توانابی کاهنش خط در مدل تجميعى 15555
2 در این مدلها نیز هدف کاهش واریانس مقدم بر هدف کاهش بایاس است.
<< از آنجا که ما به دنبال 018951661های متناقضتر هستیم. پس این مدلها
میتوانتد:بایاس بنیاز بالایی داشته باشند: اما
” میانگینگیری سبب تعدیل بایاس و بسیار مهم تر از آن موجب کاهش حساسیت نسبت به دادهی جدید خواهد
صفحه 23:
777۳ (Uncorrelation st) [A
اثبات شد که همبستگی و همخوانی 18951]161/) ها برای مدل تجمیعی مضر
است.
آقاى 58716617 به بیان نیازها و مزایای تنوع این 018951667ها پرداخت.
< و آقای 109072 نشان داد که ترکیب 013551667های بهتر لزوما کارایی بهتری نخواهد
داشتند
صفحه 24:
الا راهکارهای کاهن ارتباط .155555
2 روش اول ساخت مدل با استفاده از متفیرهای ویژگی متفاوت برای هر جداکننده
(Feature Variable) «|
اثبات شده است كه اين روش استقلال بهترى را نسبت به روش استفاده از معماریهای مختلف با متفیرهای
ویژگی یکسان, سب ميشود.
روش دیگر آموزش بر روی مجموعه دادههای مختلف است.
2 براى این منظور تکتیکهای نمونهگیری آماری همانند 0005720۳1۳0 برای تولید چندین نمونه
دادهای از داده اصلی استفاده ميشود. همانند:
Bagging >
Acring >
>
< 3۳61082 نخازداد که لیردو روش‌همبسایاسو هم‌واپیانسرا كناهشرم يدهن لما در كاهثرواريانس
صفحه 25:
1557 sje: |
قررراه تولید یک عنل تضمیین مشکللات تام Sige 5
این که تحت چه شرایطی استفاده از این مدل به صرفه است؟
۶ انتخاب هر كدلم از
“ل روشى عمومى و به
واندازهى مدل
Compost or Rate
Number of Netware in Ensemble
\ 6۱9 عم
صفحه 26:
GE Sich. | |
2 هدف این پروسه یافتن کوچکترین زیرمجموعه از دادهی اصلی در حالی که هنوز
ی بر اسان این سجموجنه رضازقشان اساقا:
2 دلیل این پردازش که منجر به محدود کردن تعداد ورودیها خواهد شد:
< کاهش محاسبات
>
Seah St با Lae Ale سوه
ایده کلی:
< کارایی کلاسبندی با استفاده از ویژگیهای مستقل از لحاظ آماری افزایش خواهد یافت.
صفحه 27:
Se "الا
> با هدف تخمین اهمیت نسبی یا سهم ویژگیهای ورودی بر متفیرهای خروجی
در ابتدا ارائه سادهترین روشها با دو ویژگی:
2 نشاندهندهی تاثیر متغیرهای ورودی بر خروجی
2 محدودیت آشکار, عدم توجه به تاثیر نودهای مخفی
صفحه 28:
0 ۳۳۲[ مقیاسهای کاراتر Ee
<< ایده کلی: بررسی تاثیر ورودیها و نودهای لایههای مخفی بر روی خروجی
۶ مقیاس شبه وزن:
> مجموع حاصلضرب اوزان نودهای ورودی در نودهای مخفی و اوزاننودهای مخفی متناظر در نود خروجی:
ارائه مقياس بسيار مهم توسط گارسون:
2 تجزیه لایه مخفی به اجزاء وابسته به هر نود ورودی و سپس درصد تمامی اوزان نودهای مخفی قایل نسبت
دادن به یک نود ورودی خاض.
“ل اين روش برطرفدارء مورد توجه ساير محققان قرار كرفت
صفحه 29:
تلا متیاسهای کاراترزادامه) ...الا
* مقیاس بعدی توسط آقای 510260 با استفاده ازسه مفهوم
Skog &
خ مهارق
2 و تغییر میانگین مربعات خطا
با هدف رتبهبندی اهمیت ویژگیهای ورودی
صفحه 30:
۲۲لا جهتجو در نضای ویزکییا "الا
2 میدانیم جستجوی کامل در فضای ویژگیها امکان پذیر نیست. به همین دلیل
استفاده از جستجوهای آگاهانه همانند:
Backward elimination >
Forward Selection >
® به عنوان مثال یکی از این روشها شامل مراحل زیر بود:
< شروع با مجموعه کامل از ویژگیها
» براى هر صفت متغيرها (8:631(1166). صحت شبكه ارزيابى ميشود به اين صورت كه تمام اوزان وایسته
به آن صفر خواهد شد.
* درانتها حذف متغیری که کمترین کامش صحت را داشته باشد.
90/98
صفحه 31:
۳0۳۲[ _ مشکلات روشهای انتخاب ویزکی 777
* متاسفانه برای هیچکدام از روشهای فوق تستهای دقیق و سخت آماری وجود ندارد
بتابراین در عمل ممکن است ثثایج عملی با آنچه گفثه شد سازگار تباشذا!
بیشترین این روشها تنها در شرایط خاصی به خوبی جواب ميدهند.
<< بنابراين نياز به ارائهى روشهاى سيستماتيك و عموميتر در انتخاب ویژگیها
>
صفحه 32:
۳۳۳۲[ جمعبندی
< از جمله مفکلات اين كار:شامل:
> تعداد مراجع بسیار بالا
:2 عدم مقایسه راهکارهای متفاوت
¥
در برخی مواقع مسائل با جزئیات و برخی بسیار کلی بررسی شدهاند.
صفحه 33: