روش های طبقه بندی

روش های طبقه بندی

اسلاید 1: احسان جهانیمحمد حسین باباییA Review on Classification Methods

اسلاید 2: مقدمهطبقه بندی چیست؟تفاوت طبقه بندی و خوشه بندیمروری بر روش های طبقه بندی روش های آماری و اقتصاد سنجی (پارامتریک) روش های غیرپارامتریک

اسلاید 3: مقدمهداشتن گروه های مشخصتعریف ویژگی های عضویت در هر گروهتخصیص هر عضو جدید به گروه های از پیش تعیین شده

اسلاید 4: تفاوت خوشه بندی و طبقه بندیطبقه بندی: گروه های از پیش تعیین شدهخوشه بندی: گروه های از پیش تعیین نشده

اسلاید 5: روش های سنتیاین روش ها اقتصادسنجی و آماری می باشند. اصلی ترین مشکل این روش ها فرضیات موجود در آن ها می باشد.این روش ها به دو دسته تقسیم می شوند:تک متغیرهچند متغیره

اسلاید 6: روش های سنتینمونه ای از این روش ها عبارتند:Discrimintal AnalysisLinear Discrimintal AnalysisQuadratic Discrimintal AnalysisLinear Probability ModelLogit AnalysisProbit Analysis

اسلاید 7: روش تحلیل تمایزی Discrimintal Analysisبر مبنای اندازه گیری واریانس درون و میان گروهیرویه : حداکثر کردن واریانس میان حداقل کردن واریانس درون گروه ها

اسلاید 8: روش تحلیل تمایزی Discrimintal Analysisفرضیات مورد استفاده:نرمال بودن توزیع متغیرهای پیش بینیبرابر بودن ماتریس واریانس-کوواریانس در بین گروه ها

اسلاید 9: روش تحلیل تمایزی Discrimintal Analysisتشکیل تابع Discrimintal Score مطابق زیر:تخمین مقادیر a, b مطابق زیر:

اسلاید 10: روش تحلیل تمایزی Discrimintal Analysisماتریس واریانس-کوواریانس:یک ورودی جدید، در گروه Ck قرار می گیرد اگر برای تمامی گروه های دیگر، معادله زیربرقرار باشد:

اسلاید 11: روش تحلیل تمایزی Discrimintal Analysisمعایب مدل:فرضیات مدلتخمین هزینه Misclassification

اسلاید 12: روش تحلیل تمایزی Q.Discrimintal Analysisاگر ماتریس های واریانس-کوواریانس مساوی نباشند:تخمین ها:

اسلاید 13: روش تحلیل تمایزی Q.Discrimintal Analysisنمونه حل شده:

اسلاید 14: روش های سنتیبا وجود معایب این روش ها، در صورت صحیح بودن فرضیات، جواب بهینه می دهند. عدم وجود فرضیات در دنیای واقعی  کارایی پایینبخصوص در شرایط زیر:وجود متغیرهای گسستهصفات با وابستگی بالادر نتیجه توسعه مدل های ذکر شده انجام شد.

اسلاید 15: روش Linear Probability Analysisروش Linear Probability Analysisبر پایه رگرسیون چند متغیره تفسیر جواب: احتمالی که یک عضو به یک دسته تعلق داردعیب: مقدار ذکر شده بین 0 و 1 نیست!!استفاده از مدل فوق مشکل می باشد.

اسلاید 16: روش های Logit & Probitبا وجود قدیمی بودن (دهه 30) کاربرد فراوانی دارند.از نوع تحلیل های اقتصاد سنجیبر پایه توابع غیر خطی و تخمین احتمال عضویت اعضا در گروه های مختلفتفاوت:استفاده Logit از توابع منطقیاستفاده Probit از تابع توزیع تجمعی نرمال

اسلاید 17: روش های Logit & Probitاحتمال اینکه یک عضو، عضو یک گروه خاص باشد در دو روش:تخمین پارامترها در این روش: روش حداکثر درستنمایی

اسلاید 18: روش های Logit & Probitبهینه سازی ذکر شده غیر-خطی و مشکل است.پس تخمین پارامترها : محاسبه احتمال های عضویتتعیین قوانین با استفاده از منطقبرای مثال، دو گروه داریم، P=0.5 مبنای تصمیم گیری

اسلاید 19: روش های غیر پارامتریکروش های سنتی: دارای فرضیات آماری (مثلا داشتن توزیع متغیرها)در واقعیت به ندرت این حالت اتفاق می افتد. در نتیجه:توسعه مدل هایی که نیازمند تخمین پارامتر نباشند.

اسلاید 20: تئوری مجموعه های فازیمنطق فازی برای اولین بار در سال 1965 توسط لطفی زاده، پروفسور علوم کامپیوتر دانشگاه برکلی کالیفرنیا معرفی شد.در اصل، منطق فازی یک منطق چند مقداره است واین امکان را فراهم می کند که مقادیر واسطه بین ارزیابی های قراردادی مانند درست/غلط، بله/ خیر، زیاد/کم و غیره قرار گیرند.

اسلاید 21: مجموعه های فازی و مجموعه های قطعیمنطق فازی یک ابزار سودمند برای کنترل و راهنمایی سیستم ها و فرآیندهای صنعتی پیچیده است و در زمینه های وسایل برقی خانگی، ابزارهای تفریحی ، سیستم های تخصصی و...کاربرد دارد.

اسلاید 22: عملکردهای سیستم های فازی

اسلاید 23: طبقه بندی های فازییکی از موارد کاربردی تئوری فازی، طبقه بندی کننده های فازی هستند. در این جریان، دانش کارشناسی مورد استفاده قرار گرفته و می تواند با استفاده از متغیرهای زبانی به صورت طبیعی بیان شود که توسط مجموعه های فازی شرح داده می شوند.

اسلاید 24: طبقه بندی های فازیخروجی های فازی برای کل قوانین در یک مجموعه فازی قرار می گیرد. برای تصمیم گیری قطعی از این خروجی فازی، می توان مجموعه فازی را از حالت فازی خارج کرد.چندین روش ( روش های غیر فازی سازی) وجود دارد. یکی از آنها به عنوان مثال گرفتن مرکز ثقل مجموعه فازی است که در شکل 7 نشان داده شده است که برای مجموعه های فازی کاربرد زیادی دارد.

اسلاید 25: طبقه بندی های فازی

اسلاید 26: مجموعه های فازیمنطق فازی می تواند روش متفاوتی برای کنترل یا طبقه بندی مسئله ارائه کند. عموما، برای مراحل بسیار پیچیده در زمانی که مدل ریاضیاتی ساده ( مانند تبدیل مسائل) برای مراحل غیرخطی یا در زمانی که فرآیند دانش تخصصی ( به صورت زبانی فرمول بندی شده) استفاده می شود، کاربرد منطق فازی می تواند مفید باشد.

اسلاید 27: مجموعه های رافدر فرهنگ لغت براي ROUGH معادلهايي مانند زبر، درشت، تقريبي، بي ادب،متلاطم و ناصاف در نظر گرفته شده است.تئوري مجموعه هاي راف دراوايل سال 1980 ميلادي توسط پروفسورزديسلاوپاولاك پايه گذاري شد.

اسلاید 28: مجموعه های رافاين تئوري با تحليل جدولهاي داده سروكار دارد.دراين تئوري جدولهاي داده مي توانند توسط اندازه گيري يا افراد متخصص وآگاه (خبره)بدست آمده باشد.هدف اصلي از تحليل مجموعه راف به دست آوردن مفاهيم تقريبي از داده هاي اكتسابي مي باشد. اين تئوري،يك ابزار قدرتمند رياضي براي استدلال در موارد ابهام و نايقيني است كه روشهايي را براي زدودن و كاستن اطلاعات نامربوط يا مازاد برنياز از پايگاههاي داده ها مهيا مي سازد.

اسلاید 29: مجموعه های رافاين فرايند حذف داده هاي زائد ،بر مبناي آموزش، وظيفه اصلي سيستم، وبدون از دست دادن داده هاي اساسي پايگاه داده ها صورت مي پذيرد.در نتيجه تقليل اطلاعات، مجموعه اي از قواعد تلخيص شده و پرمعنا حاصل مي گرددكه كار تصميم گيرنده را بسيار ساده تر مي كند. در حقيقت ميتوان گفت كه مجموعه راف با كاهش فضاي داده ها وبر گزيدن عبارات مهم، يك نگاشت از فضاي داده هاي خام به فضاي مفاهيم انجام مي دهد.تئوري مجموعه راف نقاط اشتراك زيادي با تئوري مجموعه هاي فازي ،تئوري شهود،روش هاي استدلال بولي و تحليل تفكيكي دارد؛ اما تئوري مجموعه راف به عنوان يك تئوري مستقل در نظر گرفته مي شود.

اسلاید 30: مجموعه های رافميتوان از مجموعه راف در حل مسائل اساسي در زمينه تحليل داده ها استفاده نمود، از جمله: مشخص كردن مجموعه اي از اشياءبرحسب مقاديرويژگيهايافتن وابستگيها بين ويژگيهازدودن (كاهش يا تقليل)ويژگيهاي مازاد(داده ها)يافتن مهمترين ويژگيهاتوليد قواعد تصميم گيري

اسلاید 31: مجموعه های راففلسفه مجموعه هاي راف بر اين فرض است كه هر شئ از جهان را مي توان به عنوان اطلاعات(داده،معرفت)در نظر گرفت.رابطه غير قابل تشخيص بودن ( رابطه علي- معلولي ) به دست آمده در اين روش اساس رياضيات تئوري مجموعه هاي راف مي باشد.هر مجموعه اي از اشياء غير قابل تشخيص را يك مجموعه بنيادي مي نامند و شكل يك جرء اصلي (اتم) از دانش درباره جهان است.به هر اجتماعي از مجموعه هاي بنيادي عنوان مجموعه هاي كريسپ(دقيق) نسبت مي دهندو در غير اينصورت مجموعه مبهم و غير صريح است كه عنوان مجموعه راف براي آن در نظر گرفته مي شود.

اسلاید 32: مجموعه های رافتئوری مجموعه هاي راف مبتني بر مفهوم كلاسه سازي (دسته بندي)است.به عنوان مثال ،گروهي از بيماران كه از يك بيماري معين رنج مي برند رادرنظر بگيريد.با هر بيمار،يك فايل داده ها شامل اطلاعاتي از قبيل نام،آدرس،سن، جنسيت، دماي بدن، فشار خون و مانند آن- همراه است.تمام بيماراني كه علائم مشابهي را نشان مي دهند – از نظر اطلاعات دردسترس –مانند يكديگر هستند،ومي توان آنان را در دسته هايي- به عنوان اجزاي بنيادي دانش و معرفت موجودنسبت به بيماران –كلاسه بندي نمود.اين اجزاءبه نام مجموعه هاي بنيادي يا مفاهيم بنيادي شناخته مي شوند و ميتوانند به عنوان بلوك هاي سازنده دانش در مورد بيماران در نظر گرفته شوند.

اسلاید 33: مجموعه های رافهراجتماعي از مفاهيم بنيادي، مجموعه كريسپ- به معناي مجموعه اي با تعريف و مرز هاي دقيق - ناميده مي شود، وهر مجموعه ديگري كه كريسپ نباشد، مجموعه راف -به معناي مجموعه مبهم و نادقيق- شناخته مي شود.یك مجموعه راف است اگر ناحيه مرزي ناتهي داشته باشد، ودرغير اينصورت،كريسپ است.

اسلاید 34: ارائه مثال - مجموعه های رافدر جدول زير شش فروشگاه بر حسب چهار ويژگي P وL،Q،E توصیف شده است:Qكيفيت كالاها و اجناس :Lموقعيت رفت و آمد زياد :Pسود يا ضرر فروشگاه :Eاختيارات پرسنل فروشگاه :مي توان فروشگاههارا برحسب ويژگيهاي مشابهي كه دارند دريك كلاس جمع كرد و به عنوان يك زير مجموعه در نظر گرفت.

اسلاید 35: ارائه مثال - مجموعه های رافمي توان با توجه به ويژگيهاي L , Q همه فروشگاهها را در كلاسهاي(زير مجموعه هاي) زيرطبقه بندي نمود:{1,2.3} Q:good , L:no{4} Q:ave , L:no{5,6} Q:ave L: yes

اسلاید 36: مزاياي كاربرد تئوري رافتئوري راف كاربردهاي زيادي در مهندسي،تحليل داده هاي پزشكي، پردازش تصوير و.... دارد . برخي از مزاياي كاربردي تئوري مجموعه هاي راف به صورت زير مي باشد:يك الگوريتم موثر براي يافتن الگوهاي پنهان در داده هايافتن مجموعه هاي مينيمال داده ها (كاهش يا تقليل داده ها)ارزيابي اهميت داده هاتوليد مجموعه هاي مينيمال از قواعد تصميم گيري از داده هاسادگي فهم و تفسير آسان نتايج الگوريتم

اسلاید 37: مثالهاي كاربردي تئوري مجموعه رافاستخراج قواعد با استفاده از مجموعه راف هنگاميكه ارزشهاي تابع تعلق به صورت فواصلي مي باشند.كاربرد مجموعه های راف باكشف كننده ها براي انتخاب خصوصيت(طرح)روشي براي استخراج تغذيه هاي پايگاه داده ها با استفاده از مجموعه رافكاربرد تئوري راف دركنترل(كنترل راف)كاربرد مجموعه راف براي داده كاوي درسيستم هاي اطلاعاتي بيمارستانتحليل عملي روي مجموعه اطلاعات مراقبت ژنتيك با استفاده از مجموعه راف توليد اتوماتيك داستان با روشهاي NLP و مجموعه های رافكلاسه سازي نقطه بهره برداري سيستم قدرتتشخيص خطا در سيستم هاي قدرت

اسلاید 38: مثالهاي كاربردي تئوري مجموعه رافاستخراج معرفت از پست هاي توزيعاستخراج قواعد با تحليل داده هاي پزشكيكاهش(فشرده سازي)معرفت در جداول اطلاعاتي(اطلاعات خودروها)تشخيص خطا درسيستم هاي حمل و نقلكار بر روي هوش پيوندي با استفاده از مجموعه رافاستخراج معرفت جاسازي شده در شبكه عصبي تعليم يافته با استفاده از مجموعه رافكشف روابط بين ويژگيها و وابستگي قواعد با استفاده از مجموعه رافاستدلال درباره معرفت با استفاده از مجموعه رافمدلسازي تحليلي سيستم دما با استفاده از مجموعه رافمدلسازي مجموعه بيماران قلبي موروثي با استفاده از مجموعه راف

اسلاید 39: مثالهاي كاربردي تئوري مجموعه رافتوسعه چك ليست تشخيصي در يك اتاق اورژانس با استفاده از مجموعه رافكلاسه سازي كلمات دورافتاده(پرت)زبان رسمي كشور تايلند با استفاده از مجموعه رافبدست آوردن قواعد از اطلاعات ناقص و متناقض با استفاده از مجموعه رافروشي براي ارزيابي كيفيت در سيستم حمل و نقل با استفاده از مجموعه رافاستفاده از مجموعه راف براي انطباق رهنمودهاي باليني براي سازمانهاي مراقب سلامتي

اسلاید 40: شبکه عصبیشبکه هاي عصبی نوعی مدلسازي ساده انگارانه از سیستم‌هاي عصبی واقعی هستند که کاربرد فراوانی در حل مسائل مختلف در علوم دارند. حوزه کاربرد این شبکه‌ها آنچنان گسترده است که از کاربردهاي طبقه‌بندي گرفته تا کاربردهایی مانند درون‌یابی، تخمین، آشکارسازي و. . . را شامل می‌شود. شاید مهم‌ترین مزیت این شبکه‌ها، توانایی وافر آنها در کنار سهولت استفاده از آنها باشد. یکی از روش‌هاي کارآمد در حل مسائل پیچیده، شکستن آن به زیرمسأله‌هاي ساده‌تر است که هر کدام از این زیربخش‌ها به نحو ساده‌تري قابل درك و توصیف باشند.

اسلاید 41: شبکه عصبیشبکه‌ها انواع مختلفی دارند اما همگی آنها از دو گزینه تشکیل می‌شوند:1. مجموعه‌اي از گره‌ها: هر گره در حقیقت واحد محاسباتی شبکه است که ورودي‌ها را گرفته و برروي آن پردازش انجام می‌دهد تا خروجی بدست آید. پردازش انجام شده توسط گره می‌تواند از ساده‌ترین نوع پردازش‌ها نظیر جمع‌کردن ورودي‌ها تا پیچید‌ه‌ترین محاسبات را شامل شود. در حالت ویژه، یک گره می‌تواند خود، شامل یک شبکه دیگر باشد. 2. اتصالات بین گره‌ها: این اتصالات چگونگی گذر اطلاعات بین گره‌ها را مشخص می‌کند. در حالت کلی اتصالات می‌توانند تک سویه یا دوسویه باشند. تعامل بین گره‌ها از طریق این اتصالات سبب بروز یک رفتار کلی از سوي شبکه می‌گردد که چنین‌رفتاري به تنهایی در هیچ یک از عنصرهاي شبکه دیده نمی‌شود. جامع‌بودن این رفتار کلی بر عملکرد موجود در هر گره سبب تبدیل شبکه به یک ابزار توانمند می‌شود.

اسلاید 42: چرا از شبکه‌های عصبی استفاده می‌شود؟شبکه‌های عصبی با توانایی قابل توجه خود در استنتاج نتایج از داده‌های پیچیده می‌توانند در استخراج الگوها و شناسایی گرایش‌های مختلفی که برای انسان‌ها و کامپیوتر شناسایی آنها بسیار دشوار است استفاده شوند. از مزایای شبکه‌های عصبی می‌توان موارد زیر را نام برد:1. یادگیری تطبیقی : توانایی یادگیری اینکه چگونه وظایف خود را بر اساس اطلاعات داده شده به آن و یا تجارب اولیه انجام دهد در واقع اصلاح شبکه را گویند. 2. خود سازماندهی : یک شبکه عصبی مصنوعی به صورت خودکار سازماندهی و ارائه داده‌هایی که در طول آموزش دریافت کرده را انجام دهد. نورون‌ها با قاعده یادگیری سازگار شده و پاسخ به ورودی تغییر می‌یابد. 3. عملگرهای بی‌درنگ : محاسبات در شبکه عصبی مصنوعی می‌تواند به صورت موازی و به وسیله سخت‌افزارهای مخصوصی که طراحی و ساخت آن برای دریافت نتایج بهینه قابلیت‌های شبکه عصبی مصنوعی است انجام شود.

اسلاید 43: چرا از شبکه‌های عصبی استفاده می‌شود؟4. تحمل خطا : با ایجاد خرابی در شبکه مقداری از کارایی کاهش می‌یابد ولی برخی امکانات آن با وجود مشکلات بزرگ همچنان حفظ می‌شود. 5. دسته بندی : شبکه‌های عصبی قادر به دسته بندی ورودی‌ها بر ای دریافت خروجی مناسب می‌باشند. 6. تعمیم دهی : این خاصیت شبکه را قادر می‌سازد تا تنها با برخورد با تعداد محدودی نمونه، یک قانون کلی از آن را به دست آورده، نتایج این آموخته‌ها را به موارد مشاهده از قبل نیز تعمیم دهد. توانایی که در صورت نبود آن سامانه باید بی نهایت واقعیت‌ها و روابط را به خاطر بسپارد. 7. پایداری- انعطاف پذیری : یک شبکه عصبی هم به حد کافی پایدار است تا اطلاعات فراگرفته خود را حفظ کند و هم قابلیت انعطاف و تطبیق را دارد و بدون از دست دادن اطلاعات قبلی می‌تواند موارد جدید را بپذیرد.

اسلاید 44: ساختار شبکه‌های عصبییک شبکه عصبی شامل اجزای سازنده لایه‌ها و وزن‌ها می‌باشد.در حالت کلی در شبکه‌های عصبی سه نوع لایه نورونی وجود دارد:1. لایه ورودی : دریافت اطلاعات خامی که به شبکه تغذیه شده‌است. 2. لایه‌های پنهان : عملکرد این لایه‌ها به وسیله ورودی‌ها و وزن ارتباط بین آنها و لایه‌های پنهان تعیین می‌شود. وزن‌های بین واحدهای ورودی و پنهان تعیین می‌کند که چه وقت یک واحد پنهان باید فعال شود. 3. لایه خروجی : عملکرد واحد خروجی بسته به فعالیت واحد پنهان و وزن ارتباط بین واحد پنهان و خروجی می‌باشد.

اسلاید 45: کاربرد شبکه‌های عصبیشبکه‌های عصبی مصنوعی دارای دامنه کاربرد وسیعی می‌باشند از جمله سامانه‌های آنالیز ریسک، کنترل هواپیما بدون خلبان، آنالیز کیفیت جوشکاری، آنالیز کیفیت کامپیوتر، آزمایش اتاق اورژانس، اکتشاف روغن و گاز، سامانه‌های تشخیص ترمز کامیون، تخمین ریسک وام، شناسایی طیفی، تشخیص دارو، فرآیندهای کنترل صنعتی، مدیریت خطا، تشخیص صدا، تشخیص هپاتیت، بازیابی اطلاعات راه دور، شناسایی مین‌های زیردریایی، تشخیص اشیاء سه بعدی و دست نوشته‌ها و چهره و. . .

اسلاید 46: معایب شبکه‌های عصبیقواعد یا دستورات مشخصی برای طراحی شبکه جهت یک کاربرد اختیاری وجود ندارد. در مورد مسائل مدل سازی، صرفاً نمی‌توان با استفاده از شبکه عصبی به فیزیک مساله پی برد. به عبارت دیگر مرتبط ساختن پارامترها یا ساختار شبکه به پارامترهای فرآیند معمولاً غیر ممکن است. دقت نتایج بستگی زیادی به اندازه مجموعه آموزش دارد. آموزش شبکه ممکن است مشکل ویا حتی غیر ممکن باشد. پیش بینی عملکرد آینده شبکه (عمومیت یافتن) آن به سادگی امکان پذیر نیست.

اسلاید 47: با تشکر از توجه شما