ارائه‌ی چارچوبی برای یادگیری کنترل توجه در وظایف با فضای ادراکی چند بعدی

ارائه‌ی چارچوبی برای یادگیری کنترل توجه در وظایف با فضای ادراکی چند بعدی

اسلاید 1: ارائه‌ی چارچوبی برای یادگیری کنترل توجه در وظایف با فضای ادراکی چندبعدیمریم سادات میریاناساتید راهنما: دکترمجید نیلی، دکتر بابک نجار اعرابی1

اسلاید 2: استاد مشاور2

اسلاید 3: فهرست مطالبمقدمهاهمیت و انگیزه‌ پرداختن به کنترل توجه (در حالت کلی)این پژوهش (به طور خاص)نوآوری‌ها در قالب یک شبکه‌ی مفهومی با گذار از حوزه‌های مرتبطچارچوب پیشنهادیتحقق در حوزه‌ی برخطتحقق در حوزه‌ی برون‌خطآزمایش‌ها و نتایج جمع‌بندی و نتیجه‌گیریپیشنهادهایی برای ادامه‌ی این پژوهش3

اسلاید 4: مقدمه: کنترل‌توجه چیست؟روانشناسیکنترل نمودن روند تفکر بر یکی از چندین موضوع یا شیئی که به طور همزمان ممکن است ذهن را مشغول نماید. بریدن از چیزهایی برای پرداختن موثرتر به چیزهای دیگر.مهندسیفیلتر نمودن فضای ورودی به گونه‌ای که بر چیزی که در فرایند تصمیم‌گیری ارزش بیشتری دارد، متمرکز شویم.ایجاد ارزش/اهمیت کمتر برای ورودی‌های گمراه‌کننده، غیرقابل اتکاء و نویزی4

اسلاید 5: اهمیت پرداختن به کنترل توجههرجا نیاز به تصمیم‌گیریدر زمان محدود با هزینه‌ی مشخصبر اساس اطلاعات انبوهباشد نیاز به روشی است که به نوعی از میان منابع اطلاعاتی موجود، زیرمجموعه‌ی مناسب‌تر را برگزیند. تعابیر متفاوت ولی مرتبط به توجه در مهندسی:پالایش یا فیلترینگانتخاب حسگرکاهش بعد و ... 5

اسلاید 6: اهمیت و انگیزه‌ی کنترل توجه ادراکی (در حالت معمول)حل مشکل محدودیت زمان و توان پردازشیحل مشکل پیچیدگی فضای حاصل از ادراک همزمان تمامی ابعاد سنسورهای ورودیحل مشکل ابهام به دلیل اطلاعات انبوه سنسوریراهی برای کارآمدتر نمودن حل مسئله‌ی تصمیم‌گیریکاهش بعد فضای ادراکی رباتکاهش نیاز به حافظه برای ذخیره‌ی مشاهدات غیرضروریساده‌تر شدن مدلی که ربات برای انجام وظیفه باید از محیط بسازد6

اسلاید 7: اهمیت و انگیزه‌ی یادگیری کنترل توجه (در حالت معمول)اینکه ”به چه/کجا نگاه کنیم؟“ و اینکه ”در پاسخ به مشاهده‌ی انجام شده، چه کنشی انجام بدهیم؟“ به یکدیگر تافته شده‌اند.زیرمسئله‌ی اول در خدمت دومی است! (با هدف تسهیل و کاهش بار مسئله‌ی دوم)Where to look?What to do?7

اسلاید 8: اهمیت و انگیزه‌ی این پژوهش: یادگیری کنترل توجه در فضای تصمیماینکه ”با چه کسی مشورت کنیم؟“ و اینکه ”در پاسخ به مشورت دریافتی، چه کنشی انجام بدهیم؟“ به یکدیگر تافته شده‌اند.مشورت ها به صورت ترتیبی انجام می‌شوند.سطوح و ناحیه‌ی خبرگی ها متفاوت هستند.Whom to Consult?What to do?8

اسلاید 9: اهمیت پرداختن به کنترل توجهحل مشکل محدودیت زمان و توان پردازشیحل مشکل پیچیدگی فضای حاصل از ادراک همزمان تمامی ابعاد سنسورهای ورودیحل مشکل ابهام زیاد به دلیل اطلاعات انبوه سنسوریراهی برای کارآمد نمودن پردازش‌های لازم برای حل یک مسئله از جنس تصمیم‌گیریکاهش بعد فضای ادراکی رباتکاهش نیاز به حافظه برای ذخیره‌ی مشاهدات غیرضروریساده‌تر شدن مدلی که ربات برای انجام وظیفه باید از محیط بسازد9تمام موارد بالا و حل مشکل ناهمگونی احتمالی موجود در الگوریتم‌های یادگیری و تصمیم‌گیری خبره‌ها با یکدیگرقابلیت استفاده‌ از منابع دانشی بسیار متفاوت، از یک فرد خبره‌ی انسانی گرفته تا یک ماشین یادگیر ساده ارائه‌ی یک تعریف حالت خوش‌دست‌تر برای حالت عامل یادگیر در فضای تصمیم (نسبت به تعریف همان حالت در فضای ادراکی معادل) بعد فضای حالت (فضای تصمیم) = تعداد کنش‌ها ضربدر تعداد خبره‌ها هر دو از پارامترهای قابل مدیریت زمان طراحی بوده و کاملا در دست طراح الگوریتم یادگیری هستند. بعد فضای حالت (فضای ادراکی) = تعداد مقادیری که حسگر قرائت می‌کندقابل کنترل توسط طراح نبوده، بسیار متغیر هستند و به همین دلیل هم غالبا فضای حالت بسیار بزرگ و نامطلوبی برای یادگیری ایجاد می‌نماید. در فضای ادراکیدر فضای تصمیم

اسلاید 10: ایده‌ی اصلی چارچوبتقسیم مسئله‌ی اصلی به زیرمسئله‌ها‌ی یادگیری کوچکتر و سپس یادگیری نحوه برهم‌نهی نتایج:یادگیری انجام وظیفه در زیرفضاهای ادراکی ساده‌تر به صورت موازی توسط ماشین‌های یادگیر ساده‌تریادگیری کنترل توجه با تعبیر یادگیری مشورت با همین ماشین‌های یادگیر ساده‌تر در فضای تصمیم10

اسلاید 11: فضای ادراکی چندبعدینظر/تصمیم/کنش نهاییکدام سنسور؟کدام کنش؟مسئله یادگیری در فضای ادراکی چندبعدی (در حالت معمول)11

اسلاید 12: نظر/تصمیم/کنش نهاییفضای ادراکی چندبعدیفضای ادراکی با بعد کمترفضای ادراکی با بعد کمترفضای ادراکی با بعد کمتربخشبندیهمان مسئله با نگرش پیشنهادی در این رساله (یادآوری)Perceptual SpaceDecision Space 12کدام کنش؟کدام کنش؟کدام کنش؟کدام کنش؟کدام نظر؟

اسلاید 13: 2 سوال کنترل توجه: ادراکی یا تصمیم؟!یادگیری کنترل توجه در فضای تصمیم به جای n تا حسگر، در واقع l عدد خبره داریمبه ازای هر موقعیت کدامین l’ از l تا خبره‌ها را برای مشوت انتخاب کنم تا کنش با بیشترین امید پاداش و کمترین هزینه را پیدا کنم؟یادگیری کنترل توجه در فضای ادراکی اگر ما حداکثر n حسگر (یا در حالت کلی n موقعیت مکانی/شیء مثلا در داخل یک مدالیتی مانند بینایی) داشته باشیم که به کمک آنها موقعیت یا حالت فضا را ادراک نماییم به ازای هر موقعیت کدامین n’ بیش از بقیه هم به لحاظ اطلاعاتی مفیدتر است و هم به لحاظ اقتصادی به صرفه‌تر است که استفاده شود؟13

اسلاید 14: دیدگاه پیشنهادی این پژوهش14تعریف یک مسئله یادگیری در فضای ادراکی چندبعدیبینش (Intuition)+یادگیریAttentive Decision Fusionطراح خبرههدف این پژوهش، ارائه‌ی یک راه‌حل یکپارچه است برای حل مسئله‌ی Attentive Decision Fusion ولی در دو حوزه مختلف برای طراحی جمع خبرگان : برخط در کاربردهای رباتیکیبرون‌خط در کاربردهای شناسایی الگوطراحی جمع خبرگانCore این پژوهش

اسلاید 15: اهمیت و انگیزه‌ی این پژوهش: چرا یادگیری؟یادگیری تنها راه حل ممکن است وقتیراه حل بهینه‌ی یک مسئله را در حالت کلی نمی‌دانیممدل محیط و سیگنال دقیق خطا را نداریممشاهده‌‌هایی که ربات و طراحش هر کدام در محیط انجام می‌دهند، متفاوت است15

اسلاید 16: اهمیت و انگیزه‌ی این پژوهش چه نوع یادگیری؟یک روش یادگیری در تعامل با محیطیک روش یادگیری فقط بر اساس یک ارزیابی غیرمستقیم از عملکردیک روش یادگیری که قابلیت وارد کردن هزینه برای هر کنش عامل را داشته باشد تا در مجموع کل هزینه را بتوان کنترل کرد.16

اسلاید 17: چرا روش توجهی برای ترکیب تصمیم؟!هزینه بر و طولانی بودن استخراج تمامی اطلاعات لازم برای یک تصمیم‌گیری جامعنیاز به پردازش اطلاعات انبوه و مشورت‌های متعدد با افراد خبره برای اتخاذ یک تصمیم منطقیدر مسائل تشخیص (پزشکی)، مشورت با یک خبره(پزشک) متخصص جدید، نیازمند فراهم کردن اطلاعات(انجام آزمایش‌های) جدید است؛ چرا که هر خبره (پزشک) ممکن است از منظری خاص به یک مسئله (بیماری) واحد بنگرد.پس به کمک ایده‌ی توجه این فرایند را تسهیل می‌کنیم.17

اسلاید 18: چالش‌های حوزه‌ی ترکیب تصمیم چیست؟دانش یک فرد خبره و حوزه‌ی خبرگی وی در حالت کلی بر روی حوزه‌ی مسئله، معمولا ناکامل و نایکنواست.بسیار محتمل است که پیشنهادهای یک خبره روی کل فضای مسئله ناکامل باشدپیشنهادها در مورد برخی پرسش‌هایی که در حوزه‌ی خبرگی وی واقع نشوند، برای وی گمراه‌کننده و حتی ابهام‌برانگیز هستند. منطقی نیست که ابتدا همه‌ی مشورت‌ها را به صورت یکجا انجام دهیم و سپس به یکباره و بر اساس کل آنها، اقدام به تصمیم‌گیری نماییم.بنابراین لازم است که به صورت ترتیبی و بر اساس انتخابی هوشمندانه و با توجه به میزان سودمندی نظر هر خبره، اقدام به انتخاب توجهی خبره‌ها کنیم!18

اسلاید 19: METALADFLOnline, InteractiveOffline, SupervisedTask TypeIs done byCan be solved byCan be considered from perspective ofNeedsNecessitatesIs done byشبکه‌ی مفهومی: نمایش ارتباط حوزه‌های پژوهشی مرتبط19

اسلاید 20: METALIs done byCan be considered from perspective ofNeedsNecessitatesشبکه‌ی مفهومی: نمایش ارتباط حوزه‌های پژوهشی مرتبط20

اسلاید 21: 21مدلسازی یادگیری Attentive Decision Fusion‌به عنوان یک مسئله‌ی یادگیری تعاملی

اسلاید 22: Decision support of an expert about all actionsنیاز به یک روش یادگیری پیوسته حالت و گسسته کنش‌Bayesian RL22

اسلاید 23: مولفه‌های کلیدی MDP مفروض برای فرمول‌بندی مسئله23

اسلاید 24: تحقق چارچوب پیشنهادی این رساله در: حوزه برخط حوزه برون‌خط24

اسلاید 25: تحقق چارچوب در حوزه‌ی برون‌خط 25

اسلاید 26: به‌کارگیری ADFL در حوزه برون خط داده‌ی آزمون قابل‌اتکائی برای محک‌زنی مسئله‌ی ترکیب تصمیم نداریم.پس طبقه‌بندی و تشخیص را انتخاب کردیم، چون:طبقه‌بندی وظیفه‌ی مناسبی برای آزمودن یک روش تصمیم‌گیری از جنس ترکیب تصمیم به نظر می‌رسد.خبره‌های محلی که نیاز داریم را می‌توانیم به سادگی با طبقه‌بندهای محلی جایگزین نماییم.با انتخاب طبقه‌بندی به عنوان وظیفه‌ی محک، می‌توانیم روش خود را با روش‌های شناخته شده‌‌ی این حوزه مقایسه نماییم.اما بدین ترتیب، خبره‌ها را هم باید خودمان بسازیم!26

اسلاید 27: ساختن خبره‌ها: چند فرصت و یک تهدید!فرصت‌ها:روش ما به یک آلترناتیو برای محک‌زنی با روش‌های شناخته‌شده‌ی حوزه طبقه‌بندی تبدیل می‌شود با اینکار، در حوزه‌ی پیشنهاد و تست روش‌هایی برای طراحی خبرگان هم به عنوان یک By-product وارد می‌شویم.ورود به حوزه‌ی شناسایی الگو و شکل‌دهی فضای جایگزین یادگیری و ....تهدید:ارائه یک طراحی مناسب برای خبرگان ساده نیست: اگر خبره‌ها را از قبل داشتیم، صرفا برای مشورت با آنها هزینه لحاظ می‌کردیم و نظر آنها را در هر مورد بنا به روش خود به صورت ترتیبی ترکیب می‌کردیم و...27

اسلاید 28: طراحی خبره‌ها با هدف ایجاد تنوعBRSMPKSM28

اسلاید 29: سیاست‌ BRSM برای طراحی LDEها29روشی برای ایجاد یک طراحی سریع، ساده و طبعا تصادفی(البته به صورت متوازن) ایجاد کلاسه کننده‌های تقریبا هم‌قدرت The set of features: F Number of Experts = lRank the features according to the effect on CCR using Forward Selection/Backward EliminationSelect RF = Redundancy_Factor: the number of local experts having access to one feature.LF = Locality_Factor: the portion of whole feature space to be considered by a single local classifier.Set Number of Classifiers = l = 1/ LFNumber-of-Features-per-Classifier = fpcMake l bins of sorted features; each contains fpc features.Randomly select fpc features from these l bins to assign to the feature subspace of local experts.We have l different portions of feature space: f1,…, flBalanced Random Sub-space Metod

اسلاید 30: 30سیاست‌ PKSM برای طراحی LDEهاPre-Knowledge based Sun-sapce Methodتوزیع ویژگی‌های کم‌هزینه میان بیشتر خبره‌هااولویت دادن به طراحی که ویژگی‌های پرهزینه را به تعداد محدودی از خبره‌ها منتسب نماید بر طراحی‌ دیگری که بدون توجه به هزینه‌ی لازم برای به دست آوردن هر ویژگی، آنها را به صورت یکنواخت و بر اساس تصادف میان همه‌ی خبره‌ها تقسیم می‌نمایدThe set of features: F, Number of Classes = |C|Number of Experts = lDivide the features into two groups: expensive and inexpensiveAssign all inexpensive features to all local expertsIs Separability Index acceptable?We have l different portions of feature space: f1,…, fl called cls(i).f where YesMap all the training instances to the Decision Space Using the decision of each local expertCluster the Decision Space using Kmeans method into CN clusters2<T<MaxTClustMemij = number of members of class i in the cluster jRandomly distribute the expensive features among local experts

اسلاید 31: داده‌ها و روش‌های محکداده‌ها:یازده داده‌ی انتخابی از مجموعه‌ داده‌های UCI ML Repositoryروش‌های فضای ویژگی:یک طبقه‌بند k-NN در فضای ویژگی‌روش Bagging روش Adaboost روش‌های فضای تصمیم:یک طبقه‌بند k-NN در فضای تصمیمروش‌های ترکیب تصمیم:برچسب خروجی: روش رای‌گیری اکثریترتبه‌ی تصمیم‌های خروجی: روش Borda-count خروجی پیوسته به فرم تصمیم‌های احتمالاتی پسین: روش OWA با وزن‌های بهینه به‌دست‌آمده از الگوریتم یادگیری گرادیان نزولی31

اسلاید 32: معیارهای ارزیابی پایهکارایی: متوسط نرخ تشخیص (در 5 بار اجرا) روی داده‌ی آزمونقوام نسبت به نحوه‌ی تفکیک ویژگی‌ها: واریانس نرخ تشخیص (در 5 بار اجرا) روی داده‌ی آزموننسبت مشورت32

اسلاید 33: عملکردADFL+BRSMشکست رقبای ترکیب تصمیمی خود از لحاظ نرخ تشخیص نهاییحتی در مواردی که نرخ تشخیص هر خبره به صورت محلی پایین است.مشورت هوشمندانه‌ADFL بعد از آموزش در هر حالت فقط با خبرگانی که سودمند تشخیص داده شده‌اند (چنانکه نسبت مشورت نشان می‌دهد)در مورد برخی داده ها شکست از Adaboost و Bagging33Dataset Design Desc.Feature Space MethodsFeature Space MethodsFeature Space MethodsFeature Space MethodsDecision Space MethodsDecision Space MethodsDecision Space MethodsDecision Space MethodsDecision Space MethodsDecision Space MethodsDecision Space MethodsDataset Design Desc.k-NNEnsembleEnsembleEnsembleBase Learner Algorithm ClassificationFusion MethodsFusion MethodsFusion MethodsADFL+BRSMADFL+BRSMDataset Design Desc.k-NNAdaBoostAdaBoostBagging (k-NN)[75]Base Learner Algorithm KNNMaj. Vot.Borda CountOWATest CCRCons. RatioDataset Design Desc.k-NNk-NN [76]SVM [75]Bagging (k-NN)[75]Base Learner Algorithm KNNMaj. Vot.Borda CountOWATest CCRCons. RatioLiver (Bupa)RF= 2LF= 0.2l = 5fpc = 365.40(0.09)57.560.93k-NN63.5(0.001)56.1 (0.04)57.6(0.02)65.1(0.08)66.9(0.007)3.3/5Liver (Bupa)RF= 2LF= 0.2l = 5fpc = 365.40(0.09)57.567.7760.93NB59.9(0.005)57.67 (0.02)55.4(0.09)62.54(0.015)64.20(0.007)3.1/5Liver (Bupa)RF= 2LF= 0.2l = 5fpc = 365.40(0.09)57.560.93SVM62.85(0.003)62.85(0.03)60.1(0.02)68.9(0.03)71.42(0.001)2.7/5Dataset Design Desc.Feature Space MethodsFeature Space MethodsFeature Space MethodsFeature Space MethodsDecision Space MethodsDecision Space MethodsDecision Space MethodsDecision Space MethodsDecision Space MethodsDecision Space MethodsDecision Space MethodsDataset Design Desc.k-NNEnsembleEnsembleEnsembleBase Learner Algorithm ClassificationFusion MethodsFusion MethodsFusion MethodsADFL+BRSMADFL+BRSMDataset Design Desc.k-NNAdaBoostAdaBoostBagging (k-NN)[75]Base Learner Algorithm KNNMaj. Vot.Borda CountOWATest CCRCons. RatioDataset Design Desc.k-NNk-NN [76]SVM [75]Bagging (k-NN)[75]Base Learner Algorithm KNNMaj. Vot.Borda CountOWATest CCRCons. RatioSatimageRF=2LF= 0.2l = 5fpc = 1885.55(0.07)87.586.29k-NN91.04(0.002)70.50(0.004)71.35(0.05)71.42(0.01)93.23(0.001)2.7/5SatimageRF=2LF= 0.2l = 5fpc = 1885.55(0.07)87.586.2989.82NB90.30(0.009)68.30(0.002)70.56(0.01)69.30(0.007)90.34(0.04)2.6/5SatimageRF=2LF= 0.2l = 5fpc = 1885.55(0.07)87.586.29SVM78.82(0.03)68.50(0.03)70.10(0.004)71.4(0.003)86.67(0.005)2.1/5

اسلاید 34: عملکردPKSM ADFL+افزایش معنادار نرخ تشخیص نهایی و غلبه بر روش‌های رقیب هم در دسته‌ی ترکیب تصمیم و هم Adaboost و Bagging واریانس کم در نرخ تشخیص نهاییقوام نسبت به چگونگی شکست کل داده به مجموعه‌های آموزش و آزمون و نیز شکست مجموعه‌ی ویژگی‌ها میان خبره‌های مختلفلزوم حداقل درکی از معنای ویژگی‌ها!34Dataset Feature Space MethodsFeature Space MethodsFeature Space MethodsFeature Space MethodsDecision Space MethodsDecision Space MethodsDecision Space MethodsDecision Space MethodsDecision Space MethodsDecision Space MethodsDecision Space MethodsDataset k-NNEnsembleEnsembleEnsembleBase Algorithm ClassificationFusion MethodsFusion MethodsFusion MethodsADFL+PKSMADFL+PKSMDataset k-NNAdaBoostAdaBoostBagging(K-NN)[75]Base Algorithm k-NNMaj. Vot.Borda CountOWATest CCRCons. RatioDataset k-NN(k-NN) [76](SVM)[75]Bagging(K-NN)[75]Base Algorithm k-NNMaj. Vot.Borda CountOWATest CCRCons. RatioHepatitis79.8(0.02)7476.79k-NN77.3(0.01)71.3(0.02)57.1(0.02)61.0(0.03)81.35(0.007)3.4/5Hepatitis79.8(0.02)7476.7982.18NB77.1(0.02)72.1(0.06)58.3(0.02)63.3(0.07)79.5(0.003)3.1/5Hepatitis79.8(0.02)7476.79SVM80.0(0.02)71.3(0.05)66.6(0.02)67.1(0.02)86.20(0.003)3.4/5Dataset Feature Space MethodsFeature Space MethodsFeature Space MethodsFeature Space MethodsDecision Space MethodsDecision Space MethodsDecision Space MethodsDecision Space MethodsDecision Space MethodsDecision Space MethodsDecision Space MethodsDataset k-NNEnsembleEnsembleEnsembleBase Algorithm ClassificationFusion MethodsFusion MethodsFusion MethodsADFL+PKSMADFL+PKSMDataset k-NNAdaBoostAdaBoostBagging(K-NN)[75]Base Algorithm k-NNMaj. Vot.Borda CountOWATest CCRCons. RatioDataset k-NN(k-NN) [76](SVM)[75]Bagging(K-NN)[75]Base Algorithm k-NNMaj. Vot.Borda CountOWATest CCRCons. RatioSatimage85.55(0.07)87.586.29k-NN90.16(0.002)74.18(0.002)59.30(0)63.95(0.01)95.02(0.0001)3.4/5Satimage85.55(0.07)87.586.2989.82NB90.02(0.001)69.50(0.04)72.4(0.03)71.50(0.04)91.5(0.005)2.2/5Satimage85.55(0.07)87.586.29SVM79.30(0.006)68.00(0.07)71.6(0.07)73.5(0.06)87.9(0.006)2.0/5

اسلاید 35: آزمون علامت(ps)، ویلکوکسون (pw) وt (pt) میان ADFL+PKSM بر اساس بهترین طبقه‌بند پایه و روش‌های رقیب Bagging+k-NNAdaboost+SVMAdaboost+k-NNEnsemble(Bests)Fusion(Bests)Win/draw/loss9/0/28/2/111/0/07/2/210/0/1PKSM+ADFL(Bests)ps =0.0654pw=0.0048pt=0.0068ps=0.0117pw=0.0097pt=0.0123ps=0.0009pw=0.0009pt=0ps= 0.0654pw= 0.0322pt= 0.0406ps=0.0117pw=0.0019pt=0.0009ADFL+PKSM با بهترین LDE ها (مستقل از نوع الگوریتم یادگیری پایه) :از بهترین روش‌های رقیب در دسته‌ روش‌های اجماع خبرگان با 90 درصد اطمینان و از بهترین روش‌های رقیب در دسته‌ی ترکیب تصمیم با 95درصد اطمینان، بهتر عمل می‌کند. 35

اسلاید 36: معیارهای ارزیابی تکمیلیقوام نسبت به 2 گونه‌ی مختلف از خطاهای زمان طراحی خبرگانخبره‌ای که در حالت باینری، صد در صد و در حالت چندکلاسه با الگوی مشخصی به طور هدفمندی اشتباه می‌کند.خبره ای که نظر تکراری ارائه می‌نماید.36

اسلاید 37: تست خبره‌های تکراری Dataset (LDEs’ Base learner)Description(Avg. CCR of LDEs)k-NN onDecision SpaceMajority votingBorda-countOWAADFLConsultation RatioDiabetes(NB)Original(64.5)72.3(0.07)75.3(0.03)76.6(0.06)66.3(0.03)76.34(0.001)1.9/4Diabetes(NB)With duplicated LDE(64.5)68.1(0.07)69.1(0.05)71.2(0.01)60.1(0.07)75.8(0.05)2.1/5Hepatitis(SVM)Original,(71.2)80.0(0.02)71.3(0.05)66.6(0.02)67.1(0.02)86.20(0.003)3.4/5Hepatitis(SVM)With duplicated LDE(71.2)78.2 (0.01)70.45 (0.05)63.81 (0.007)65.5 (0.01)85.34 (0.04)3.3/6Dataset (LDEs’ Base learner)Description(Avg. CCR of LDEs)k-NN onDecision SpaceMaj. Vot.Borda CountOWAADFLConsultation RatioVehicle(k-NN)Original(61.5)68.60(0)64.35(0.06)54.04(0.001)62.95(0.02)78.40(0.003)2.9/5Vehicle(k-NN)With duplicated LDE(61.5)66.72(0.005)60.7(0.03)50.20(0.04)60.13(0.05)77.91(0.001)3.1/6Waveform(NB)Original (74.5)81.33(0.001)75.00(0.04)65.39 (0.002)75.88(0.06)82.9(0.001)2.1/5Waveform(NB)With duplicated LDE(74.5)80.59(0.009)76.05(0.08)65.45(0.07)71.92(0.03)82.50(0.009)2.4/6داده های باینری داده‌‌های چندکلاسی37

اسلاید 38: الگوی مشورت در تست تکرارخبره‌‌ی شماره 5 کپی شده و تحت عنوان خبره‌‌ی 6 به مجموعه خبره‌ها در داده‌ هپاتیت افزوده شده است. در انتهای یادگیری دیده می‌شود که هر دو خبره به میزان مساوی برای مشورت کردن محتمل هستند38

اسلاید 39: نتایج آزمایش افزودن خبره‌ی تکراریاین افزونگی بر خلاف روش‌های رایج ترکیب تصمیم، تاثیر مخربی بر نتیجه‌ی روش پیشنهادی نداشته است.قوام روش به چنین خطاهای زمان طراحی!نتایج روش‌های ترکیب تصمیم، تاثیر مستقیم این آزمایش را در خروجی نشان می‌دهند.عامل یادگیر در ما هم با یک خبره و هم با کپی آن مشورت نمی‌کند.39

اسلاید 40: نتیجه‌یآزمایش افزودن تصمیم‌گیرهای به طور سیستماتیک خطادارPima Indian DiabetesAvg CCR of LDEsk-NN onDecision SpaceMajority votingBorda CountOWAADFLConsultation RatioOriginal64.572.3(0.07)75.3(0.03)76.6(0.06)66.3(0.03)76.34(0.001)1.9/4With output-inverted LDE51.6100(0)68.9(0.08)70.25(0.04)59.5(0.01)100(0)1.1/5Dataset (LDEs’ Base learner)Description(Avg. CCR of LDEs)k-NN onDecision SpaceMajority VotingBorda CountOWAADFLConsultation RatioDermatology(NB)Original(97.25)95.5(0)75.00(0)82.5(0.012)85.5(0)97.25(0.0003)3.1/4Dermatology(NB)With systematically wrong LDE(81.04)100(0)62.03(0.03)73.7(0.002)65.9(0.06)100(0)1.2/5Satimage(k-NN)Original(89.3)90.16(0.0002)74.18(0.002)59.30(0)63.95(0.01)95.02(0.0001)3.4/5Satimage(k-NN)With systematically wrong LDE(74.4)100(0)63.80(0.05)48.72(0.001)52.78(0.05)100(0)1.5/6در حالت چندکلاسیدر حالت باینری40

اسلاید 41: الگوی مشورت در تست خبره‌ی خطاکاردر پایان یادگیری ADFL بیشترین مشورت را با خبره‌ی خطادار سیستماتیکی انجام می‌دهد41

اسلاید 42: 42شکست ADFL + BRSM از Adaboost و Bagging روی اغلب مجموعه‌های داده‌ای بررسی توزیع نمونه‌های آموزشی در فضای تصمیم (فضای تصمیمی متشکل از خبره‌های محلی طراحی شده بر اساس روش BRSM که بیش از بقیه با آنها مشورت شده بود.)مشاهده: یک فضای تصمیم در هم که به ندرت می‌شد مرز تصمیم مشخصی میان نمونه‌های کلاس‌های مختلف متصور شد.نتیجه: بسیار دشوار است که ADFL بتواند با قراردادن گوسی‌ها و تنظیم میانگین و واریانس آنها، مرز تصمیم مشخصی در فضای تصمیم شکل بدهد و به کارایی مناسب و مورد انتظار دست یابد.بحث در مورد طراحی خبره‌های محلی

اسلاید 43: بحث در مورد طراحی خبره‌های محلی(2)روش یادگیری پیوسته با بخشبندی نرم فضای ورودی، تعدادی هسته‌‌ی گوسی در نواحی مختلف فضای یادگیری قرار می‌دهد.سپس میانگین و واریانس آنها را در طول زمان با ورود نمونه‌های یادگیری جدید، تنظیم (به‌روز) می‌کند.در هم رفتگی زیاد نمونه‌های یادگیری باعث افزایش تعداد هسته‌های گوسی‌می‌شود و کار را دشوار و بعضا غیرممکن می‌کند.پس باید تا حد امکان فضای تصمیم اولیه را گرانول‌بندی شده به ADFL تحویل بدهیم.43

اسلاید 44: تصویر پایه اقتباس از DHS PR book: Ch2. page 28 44شکل‌دهی فضای تصمیم.....

اسلاید 45: بحث در مورد طراحی خبره‌های محلی(3)تعریف معیاری با نام Seperability Indexبرای سنجش میزان قابلیت خوشه‌بندی فضای تصمیم (مطلوبیت موردانتظار در فضای تصمیم)روش PKSM بر اساس بیشینه نمودن این معیار، ویژگی‌ها را انتخاب می‌نماید.تعداد اعضاء کلاس i در خوشه j تعداد خوشه‌ها45

اسلاید 46: نتایج طراحی خبره‌های محلی به روش PKSMغالبا افزایش متوسط دقت خبره‌های محلی و کمیت جداپذیری در فضای تصمیم هر دو بر بهبود کارایی نهایی ADFL تاثیرگذار هستند.بهبود متوسط دقت خبره‌های محلی در اکثر موارد، موجب جداپذیری بهتر هم می‌شود ولی عکس این شرایط وجود ندارد. به صورت تجربی مشاهده شد که ضریب همبستگی میان جداپذیری و متوسط دقت خبره‌های محلی یک عدد منفی و کوچک است. SI یک معیار پیش‌ارزیابی است : آیا خبره‌های طراحی شده (حتی با متوسط قدرت کم) به صورت بالقوه برای ADFL مناسب هستند یا خیر؟ معمولا طراحی خبره‌هایی با متوسط قدرت بالا در عمل دشوار است در حالیکه افزایش جداپذیری ‌به مراتب عملی‌تر است.46

اسلاید 47: تحقق چارچوب پیشنهادی این رساله در:حوزه برخطحوزه برون‌خط47

اسلاید 48: تحقق چارچوب در حوزه‌ی برخط (METAL برای یادگیری رباتیکی) 48

اسلاید 49: در حوزه‌ برخطباز هم به دنبال حل مسئله کنترل توجه از طریق تبدیل آن به فرم یک مسئله یادگیری ترکیب تصمیم هستیم.اما داده‌ی آموزشی نداریم:پس ایجاد خبره‌های محلی چگونه باید باشد؟!قطعا در این حوزه نیازمند تعامل با محیط برای آموزش خبره‌های محلی هستیم.49

اسلاید 50: Structural ComponentsLearning PhasesEvaluation MeasuresBayesian Continuous RLTAsLearned Behavior Quality TAsACLTAsExpert AdvisorFOAMETAL= Mixture of Experts Task & Attention Learning50

اسلاید 51: Structural ComponentsLearning PhasesEvaluation MeasuresBayesian Continuous RLTAsLearned Behavior Quality TAsACLTAsExpert AdvisorFOAMETAL= Mixture of Experts Task & Attention Learning51

اسلاید 52: فاز اول: یادگیری غیرفعال مبتنی بر نمایشخبره‌ی انسانی به عنوان مربی و نقاد عمل می‌کند. ریزعامل ها حالت محیط را به طور جزئی ادراک می‌کنند.کنش مربی را حس می‌کنند فیدبک محیط را دریافت می‌کنند. سپس ارتباط میان این اجزاء را در ذهن خود تقویت می‌کنند. عامل مشاهده‌گر کامل :حالت را به طور کامل ادراک می‌کند.کنش مربی را حس می‌کند. فیدبک محیط را دریافت می‌کند. سپس ارتباط میان این اجزاء را در ذهن خود تقویت می‌کند. TA2TAlFOATA1EnvironmentExpert AdvisorrewardrewardrewardrewardMotor Action52ریزعاملهای داخل ذهن ربات که هر یک بخشی از فضای ادراکی را مشاهده و در آن یادگیری وظیفه را انجام می‌دهند.عاملی که کل فضای ادراکی را مشاهده می کند و درفاز 1 و2 به کار گرفته می‌شود.خبره ای که در هر 3 فاز نقاد است ولی در فاز 1 نقش مربی را هم بر عهده دارد.

اسلاید 53: Structural ComponentsLearning PhasesEvaluation MeasuresBayesian Continuous RLTAsLearned Behavior Quality TAsACLTAsExpert AdvisorFOAMETAL= Mixture of Experts Task & Attention Learning53

اسلاید 54: فاز دو: یادگیری فعال اولیهنقش خبره به صرفا یک نقاد محدود می‌شود. یک مرکز ترکیب در خروجی تصمیم‌سازی این قرار می‌گیرد ریزعامل‌ها و عامل‌مشاهده‌گر کامل تصمیم حریصانه‌ی خود را اتخاذ می‌کنند و آن را به همراه درجه پشتیبانی به مرکز ترکیب نهایی می‌فرستند. تصمیم نهایی توسط مرکز ترکیب و بر اساس ماکزیمم نمودن یک معیار خبرگی انجام می‌شود. بدین ترتیب کنش انجام می‌شود و سیگنال تقویت از محیط دریافت می‌شود. وقتی یادگیری ریزعامل‌ها عمگرا می‌شود، عامل مشاهده‌گر کامل حذف می‌شود و ریزعامل‌ها تبدیل به خبره‌های محلی می‌شوند.FOAEnvironmentFusion CenterrewardrewardrewardrewardMotor ActionTA1TA2TAl54

اسلاید 55: Structural ComponentsLearning PhasesEvaluation MeasuresBayesian Continuous RLTAsLearned Behavior Quality TAsACLTAsExpert AdvisorFOAMETAL= Mixture of Experts Task & Attention Learning55

اسلاید 56: فاز سوم: یادگیری کنترل توجهتوجه کردن به نظر یک نفر (ریزعامل) یا مشورت کردن با وی، به معنای درخواست از او بر پردازش فضای سنسوری خودش و ارائه نمودن تصمیم پیشنهادی‌اش به عامل ACL است. عامل ACL دو دسته کنش کاملا متفاوت به لحاظ ذاتی دارد: یک خبره را فعالسازی کند و با آن مشورت نماید،یک کنش موتوری انجام بدهد. TA2TAiTAlTA1Motor ActionrewardP(a1|STA i),…,P(aA||STA i)Perceptual Attention ShiftAttention LearningTask LearningObs EnvironmentrewardACLMotor ActionrewardP(a1|S TA1),…,P(aA||STA1)نیاز به یک روش یادگیری پیوسته حالت و گسسته کنش‌Bayesian RLDecision support of an expert about all actions56

اسلاید 57: Structural ComponentsLearning PhasesEvaluation MeasuresBayesian Continuous RLTAsLearned Behavior Quality TAsACLTAsExpert AdvisorFOAMETAL= Mixture of Experts Task & Attention Learning57

اسلاید 58: معیارهای ارزیابیاز منظر یادگیری:پیشرفت یادگیری بر اساس متوسط پاداش دریافتی که عامل در ضمن یادگیری به دست می‌آوردمتوسط پاداش تجمعی دریافتی در حین تست متوسط تعداد گام‌های مشاهده را که عامل در هر حالت برمی‌دارد یک کمیت نزولی در طول زمان نشانگر آن که عامل به مرور، خبره‌های دارای دانش لازم در هر موقعیت را شناسایی نموده‌است.از منظر رفتاری:تعداد تصادف‌هانرمی مسیر رانندگیاتخاذ سرعت مناسب58

اسلاید 59: تحقق چارچوب در یادگیری رانندگیHighway Driving SkillNot to Collide an ObstacleDriving in road boundaryBypassing stalled carsPassing slow carsApproach with good speedFollowing some rulesKeeping vehicle inside lanes6 عدد خبره برای مدالیتی بیناییVisionIR59

اسلاید 60: تابع پاداش: موتوری و ادراکیYesNoNoNoNo Punishment! PunishmentYesYesYesNoIR and %Redپاداش موتوری-1Costs for 6 areas of Vision -2-2-2-2-1.5-1.5پاداش ادراکیVision cost for FOAEquals with Sum of Vision costs for TAs, That is -11= - 2  4 - 1.5  2Vision + IR cost for Fusion CenterEquals with Sum of Vision and IR costs for TAs, That is -12= - 2  4 - 1.5  2 - 1StateCollision?Off the Road boundary?Violate Rules? (Between Lines Driving?)Approach with inappropriate speed?% off the road bottom area of the robot%black, %white, %green and %blueDifference between current and max speedCosts of consulting TAs Equal costs for 8 IR sensors 60

اسلاید 61: متوسط پاداش دریافتی ضمن یادگیری61

اسلاید 62: متوسط تعداد گام‌های برداشته شده ضمن یادگیری62با تکمیل شدن روند یادگیری، گام‌ها حساب‌شده‌تر برداشته می‌شوند.

اسلاید 63: رانندگی بر اساس چارچوب METAL63

اسلاید 64: جمع‌بندی: یادآوری دیدگاه پیشنهادی 64تعریف یک مسئله یادگیری در فضای ادراکی چندبعدیبینش (Intuition)+یادگیریAttentive Decision Fusionطراح خبرهطراحی جمع خبرگانایده‌ی توجه: انتخاب ترتیبی و بر اساس موقعیت و با کنترل هزینه

اسلاید 65: 65123

اسلاید 66: نتیجه‌گیری بر اساس ایده‌ی اصلیاز منظر ترکیب تصمیمیادگیری ترتیب مناسب مشورت با تصمیم‌گیرهای محلی به ازاء موقعیت‌های مختلفیادگیری سیاست مشورتی به گونه‌ای محلی به جای یادگیری یک استراتژی مشورت یکسان روی کل فضای تصمیماین ویژگی به ویژه وقتی تصمیم‌گیری در زیرفضاها از تصمیم‌گیری در فضای اولیه به گونه‌ی دقیق‌تری امکان‌پذیر باشد، خیلی مطلوب است.ویژگی محلی عمل نمودن در فضای تصمیم، دستی طراحی نمی‌شود بلکه یاد گرفته می‌شود.ایجاد یک درجه‌ی آزادی در طراحی تصمیم‌گیرهای محلی: کافی است تنها در بخشی از فضای داده به خوبی عمل نمایند.از منظر توجهکمینه نمودن هزینه‌ و تعداد مشورت‌ها و یافتن تصمیم‌گیرهای مطلع‌تربه صورت ترتیبی و بر اساس موقعیتاز منظر کاربردیک سیستم یادگیرنده‌ی پشتیبان تصمیم با کاربرد در هر دو حوزه‌ی برخط و برون‌خطاز یک منظر پژوهشی نسبتا متفاوتارائه ایده‌هایی در مورد ساختن تدریجی درخت تصمیم به کمک یادگیری تقویتی66بازگشت

اسلاید 67: نتیجه‌گیری از تحقق در حوزه برون‌خط کارایی مناسب در مواجهه با رقبای شناخته شده‌ی حوزه ویژگی و تصمیمقابلیت یادگیری انتخابی/توجهی ترکیب تدریجی تصمیم (در مقایسه با روش‌های استاتیک که از همه‌ی ورودی‌ها استفاده می‌کنند.)قابلیت بهره گیری از طبقه‌بندهای محلی که لزوما هم خیلی خوب طراحی نشده‌اند.توانایی مدیریت برخی خطاهای رایج زمان طراحی (از قبیل تکرار یک خبره در مجموعه‌ی خبرگان که موجب اعمال نظر مضاعف می‌شود و نیز خبره‌هایی که به صورت هدفمند نظر خطادار اعلام می‌نمایند) و انتخاب بهترین عکس‌العمل در قبال آنها.توانایی در اختیار قرار دادن نحوه‌ی رسیدن به جواب بهینه علاوه بر اینکه خود پاسخ نهایی را هم در اختیار فرد تصمیم‌گیر قرار می‌دهد.67بازگشت

اسلاید 68: محدودیت‌های به‌کارگیری در حوزه برون‌خطاگر با یک مسئله تصمیم‌گیری سروکار داریم که در مورد آن، نظرات خبره‌های گوناگون وجود داردیا به سادگی می‌توان نظرات این خبره‌ها را تهیه یا شبیه‌سازی نمودبا تقسیم ویژگی‌ها بر اساس BRSM یا PKSM خبره های ضعیف ایجاد نمی‌گرددیعنی SI را بتوان تا حد مناسبی افزایش داد که فضای تصمیم مناسب، قابل ایجاد باشدنحوه‌ی ترکیب مناسب این تصمیم‌ها برای تصمیم‌گیری نهایی معلوم نبوده، استفاده‌ از همه‌ی آنها هم هزینه‌بر باشدهدف، کاهش هزینه‌ی تصمیم‌سازی بوده، تحقق این کاهش هزینه از طریق مشورت با خبره‌ها پذیرفتنی باشد68بازگشت

اسلاید 69: گام‌های آتی برای ادامه کار در حوزه برون‌خطارائه روش‌های کارآمدتر برای ساختن طبقه‌بندهای محلیآزمودن کارآمدی این روش در مسئله‌ی یادگیری چندین هسته‌ایچون در روش‌های مبتنی بر Kernel مثل SVM هدف آن است که جداسازی در فضای با بعد بالاتر ولی جداپذیر خطی صورت بگیرد، شاید این روش جایگزین خوبی برای جداپذیر نمودنی که لازمه کار است، باشد.تشکیل ساختار درختی ترکیب تصمیم با هدف نشان دادن برتری این روش بر روش‌هایی که در تشکیل درخت، تنها نگاهی به سودمندی هر گام در شکاندن فضای ادراکی دارند (مانند Entropy-based measure of impurity)69بازگشت

اسلاید 70: نتیجه‌گیری از تحقق در حوزه برخطتوزیع نمودن دشواری یادگیری در فازهای متوالی: بار اصلی یادگیری وظیفه در فاز اول و دوم، بار اصلی یادگیری کنترل توجه در فاز سوم.توانایی یادگیری در یک فضای جایگزین و مناسب به جای فضای ادراکی چندبعدی اولیه با ویژگی‌هایی از قبیل توانایی استفاده از دانش‌ خبره‌های متفاوت، احتمال بدنمایی کم و با ابعادی که بیش از ابعاد نسخه معادل ادراکی قابل کنترل است.توانایی نادیده گرفتن ابعاد نامرتبط به وظیفه در هر وضعیتیادگیری انجام وظیفه‌ی رانندگی با تعداد محدودی شیفت توجه در یک فضای پیوسته حالت که نمونه‌ای از وظایف رباتیکی دنیای واقعی استارائه‌ی یک راهکار نمونه برای تعریف سلسه مراتبی تابع پاداش برای کاهش حداکثری ابهام در یادگیری یک وظیفه‌ی متنوع به لحاظ عملکردیارائه‌ی یک راهکار نمونه برای طراحی عامل‌های یادگیر یک وظیفه‌ی رباتیکی70بازگشت

اسلاید 71: هدف از”ارزیابی میزان بدنمایی“با محاسبه حد بالای احتمال رخداد بدنمایی در فضای تصمیم نشان دادیم که با انتقال به فضای تصمیم، بر خلاف تصور احتمالی، احتمال بروز بدنمایی را افزایش نداده‌ایم.نحوه محاسبه: مساوی قرار دادن مختصات دو نقطه در فضای تصمیم تفکیک معادله به اجزاء سازنده‌اش و تقریب کمیت‌های پیوسته با کمیت‌های گسسته متناظرفرمولبندی مسئله ”احتمال بروز این تساوی“ در قالب یک مسئله آنالیز ترکیبی معادل پیدا کردن پاسخ به یک فرم بسته بازگشتیبررسی صحت فرم بسته به کمک روش تکرار زیاد به صورت عددیجزئیات بیشتر در صورت لزوم71

اسلاید 72: محدودیت‌های به‌کارگیری در حوزه‌ی برخطاگر با یک مسئله‌ی یادگیری رباتی مواجه هستیم که فضای ادراکی آن چندبعدی استاگر استفاده از کل فضای ادراکی به یکباره برای یادگیری ربات بسیار پرهزینه باشد،اگر فضای کنش‌های ربات قابل گسسته‌سازی و در مقایسه با ابعاد فضای ادراکی بسیار محدودتر باشداگر طراحی تابع پاداش به صورتی ترجیحا سلسله‌مراتبی شدنی باشداگر یادگیری در زیرفضاهای جداگانه به دلیل بدنمایی ذاتی شدید، با مشکل عدم همگرایی مواجه نباشداگر بعد فضای تصمیم (حاصلضرب بعد فضای کنش‌های ربات در تعداد خبره‌های محلی) با توجه به روش یادگیری پیوسته‌ای که به‌کار گرفته‌می‌شود، پذیرفتنی باشد.72بازگشت

اسلاید 73: گام‌های آتی برای ادامه کار در حوزه برخطیافتن یک فضای فشرده‌تر به جای بازنمایی کنونی فضای تصمیمبخشبندی و یافتن خوشه‌هایی به صورت اتوماتیک در فضای ادراکی به جای خبره‌هایی که در این روش به صورت دستی و بر اساس قواعد یافته‌ای طراحی شدند.اعمال روش در یک وظیفه‌ی دیگر به گونه‌ای که نیاز به در نظر گرفتن مشاهدات گذشته نیز موجود باشداستفاده از تکنیک‌های انتقال دانش قبلا یادگرفته شده برای سرعت بخشیدن به فرایند یادگیری73

اسلاید 74: بار دیگر از Attention شما متشکرم!74

اسلاید 75: 75

اسلاید 76: آقای محمد اجل‌لوئیان: ویرایش مقالات و بحثهای مفید در مورد توجهآقای محمدحسن ذکائی: بحثهای مفید در مورد مباحث مرتبط به یادگیری76آقای محمدافشار: طراحی واسط WEBOTS و MATLABآقای هادی فیروزی: طراحی روش Bayesian RLآقای آرش آرامی:بحثهای مفید در مورد توجهخانم نرگس نوری: بحثهای مفید در مورد توجه