اتوماتای یادگیر Learning Automata

www.Prozhe.com Learning Automata 90 اپئیز- نوید بذرکار – مصطفی نعمتی www.prozhe.com اتوماتای یادگیر فرایند یادگیری ‏www.prozhe.com فرایندی که طی آن موجودات زنده مطالب مختلف را یاد می گیرند موضوع مورد عالقه بسیاری از دانشمندان بوده است. تحقیقاتی که در این زمینه صورت گرفته است در دو شاخه کلی متمرکز است: ‏Learning Automata -1درک فرایندی که موجودات زنده در طی آن اقدام به یادگیری می کنند. -2بدست آوردن روش هایی که با استفاده از آنها بتوان این قابلیت را به ماشین منتقل نمود. 2 از 59 فرایند یادگیری ‏www.prozhe.com تعریف یادگیری: اعمال یک سری تغییرات در کارایی سیستم براساس تجارب قبلی است. ‏Learning Automata مهمترین مشخصه یک سیستم یادگیر: افزایش کارایی آن با گذشت زمان. 3 از 59 فرایند یادگیری ‏www.prozhe.com تعریف ریاضی یک سیستم یادگیر: هدف یک سیستم یادگیر بهینه سازی یک عملکرد است که کامال امکان شناسایی آن وجود ندارد. ‏Learning Automata بر طبق این تعریف: می توان هدف سیستم یادگیر را به یک مساله بهینه سازی که بر روی ی ک مجموع ه پارامت ر تعری ف شده اس ت کاه ش داد و ب ا بدست آوردن پارمترهای بهینه از طریق روش های موجود آن را حل کرد. 4 از 59 تاریخچه اتوماتای یادگیر ‏www.prozhe.com مفهوم اتوماتای تص ادفی ( )Stochastic Automataاولین بار توسط تستلین ( )Testlinدر سال 1960در اتحاد جماهیر شوروی ارائه شد. ‏Learning Automata پس از آن در تحقیقات بعدی نمونه های مختلفی از کاربردهای روش های یادگیری در سیستم های مهندسی بوجود آمد که از آن جمله می توان به مسیریاب تلفن ،شناسایی الگو و تقسیم بندی اشیاء و کنترل قابل تطبیق اشاره کرد. 5 از 59 تاریخچه اتوماتای یادگیر ‏www.prozhe.com در دهه 60میالدی سایپکین ( )Sypkinروشی برای ساده کردن مسائل فوق برای تشخیص پارامترهای بهینه و بکاربردن روش های تپه نوردی برای حل آن ،معرفی کرد. تستلین و همکارانش در همان زمان کار ،بر روی اتوماتاهای یادگیر را آغاز کردند و مفهوم اتوماتای یادگیر برای اولین بار توسط وی مطرح شد. ‏Learning Automata تستلین به مدلسازی رفتارهای سیسیتمهای بیولوژیکی عالقمند بود و یک اتوماتای قطعی که در محیط تصادفی فعالیت می کرد را به عنوان مدلی برای یادگیر معرفی کرد. 6 از 59 www.prozhe.com تاریخچه اتوماتای یادگیر رویکرد دیگری ک ه توس ط نارندرا ( )Narendraو همکارش به کار گرفته شد ،در نظر گرفتن مساله به صورت پیدا کردن اقدام بهینه از میان ‏Learning Automata مجموعه اقدام های مجاز اتوماتای تصادفی بود. 7 از 59 اتوماتای یادگیر ‏www.prozhe.com يک اتوماتاي يادگير را مي‌توان بص ورت يک شئ مجرد (Abstract )Objectکه داراي تعداد متناهي عمل است ،در نظر گرفت. ‏Learning Automata اتوماتاي يادگير با انتخاب يک عمل از مجموعه عمل هاي خود و ا ِعمال آن بر محيط ،عمل مي‌کند. عمل مذکور توسط يک محيط تصادفي ارزيابي مي‌شود و اتوماتا از پاسخ محيط براي انتخاب عمل بعدي خود استفاده مي‌کند. در طي اين فرايند اتوماتا ياد مي‌گيرد که عمل بهينه را انتخاب نمايد. 8 از 59 اتوماتای یادگیر ‏www.prozhe.com نحوه استفاده از پاسخ محيط به عمل انتخابي اتوماتا که در جهت انتخاب عمل بعدي اتوماتا استفاده مي‌شود ،توسط الگوريتم يادگيري اتوماتا مشخص مي‌گردد. ‏Learning Automata قسمت های اصلی اتوماتای یادگیر: -1يک اتوماتاي تصادفي با تعداد محدودي عمل و يک محيط تصادفي که اتوماتا با آن در ارتباط است. -2الگوريتم يادگيري که اتوماتا با استفاده از آن عمل بهينه را ياد مي‌گيرد. 9 از 59 اتوماتای یادگیر ‏www.prozhe.com يک اتوماتا بصورت پنج‌تايي تعريف مي‌شود که : مجموعه عمل‌هاي اتوماتا است و rتعداد عمل های ‏o اتوماتا. ‏Learning Automata ‏o مجموعه ورودي‌هاي اتوماتا، ‏o تابع توليد وضعيت جديد، 10 از 59 اتوماتای یادگیر ‏www.prozhe.com ‏o تابع خروجي که وضعيت فعلي را به خروجي بعدي نگاشت مي‌کند، مجموعه وضعيت‌هاي داخلي اتوماتا در لحظه ،n ‏o ‏Learning Automata مي‌باشند. 11 از 59 www.prozhe.com اتوماتای یادگیر مجموعه خروجی های اتوماتا حاالت داخلی اتوماتا }Φ(n)={Φ1 Φ2,…, Φk ‏Learning Automata 12 از 59 مجموعه ورودی های اتوماتا اتوماتای یادگیر ‏www.prozhe.com توابع Fو Gوضعيت فعلي ورودي را به خروجي بعدي (عمل بعدي) اتوماتا نگاشت مي‌کنند. بر حسب نگاشت های Fو Gمی توان تقسیم بندی زیر را انجام داد: -1اگ ر نگاشت‌هاي Fو Gقطع ي باشن د ،اتومات ا يک اتوماتاي قطعي ‏Learning Automata ( )Deterministic Automataناميده مي‌شود. با اطالع از وضعیت فعلی اتوماتا و ورودی اتوماتا (پاسخ محیط) ،وضعیت بعدی اتوماتا و اقدام آن مشخص می‌باشد. 13 از 59 اتوماتای یادگیر ‏www.prozhe.com -2اگر نگاشت‌هاي Fو Gتصادفي باشند ،اتوماتا يک اتوماتاي تصادفي ( )Stochasticناميده مي‌شود. ‏Learning Automata با اطالع از وضعیت فعلی اتوماتا و ورودی اتوماتا (پاسخ محیط) ،فقط احتمال وضعیت بعدی اتوماتا و اقدام آن مشخص می‌باشد. 14 از 59 تقسیم بندی اتوماتاها ‏www.prozhe.com ‏ ‏ اتوماتا ی با ساختار ثابت (:)Fixed Structure Automata در اتوماتاي یادگیر با ساختار ثابت احتمال عمل‌هاي اتوماتا ثابت هستند. اتوماتای با ساختار متغير (:)Variable Structure Automata ‏Learning Automata در اتوماتاي تصادفي با ساختار متغير احتماالت عمل‌هاي اتوماتا در هر تکرار ب ِروز مي‌شوند. در اتوماتاي يادگير با ساختار متغير ،تغيير احتمال‌هاي عمل‌ها بر اساس الگوريتم يادگيري انجام مي‌شود. 15 از 59 تقسیم بندی اتوماتاها ‏www.prozhe.com توسط در اتوماتاي يادگير با ساختار متغير وضعيت داخلي اتوماتا احتماالت عمل‌هاي اتوماتا بازنمايي مي‌شوند .وضعيت داخلي اتوماتا در لحظه nرا با بردار احتمال عمل‌هاي اتوماتا ) P(nکه در زير آمده است ،نشان داده مي‌شود: بطوري‌که: ‏Learning Automata ‏ در آغاز فعاليت اتوماتا ،احتمال عمل‌هاي آن با هم برابر و مساوي مي‌باشند (که r تعداد عمل‌هاي اتوماتا مي‌باشد). 16 از 59 محیط ENVIROMENT ‏www.prozhe.com ‏يادگيري در رويكرد مبتني بر اتوماتاهاي يادگير ،بصورت تشخيص يك ‏o ‏Learning Automata ‏o اقدام/عمل بهينه از ميان مجموعه اقدامهاي مجاز مي‌باشد. اين اقدام در يك محيط تصادفي ا ِعمال مي‌شود. محيط با توليد يك خروجي به اقدام اعمال شده پاسخ مي‌دهد. 17 از 59 محیط ‏www.prozhe.com ‏محيط را مي‌توان توسط سه‌تايي نشان داد که : ‏o مجموعه ورودي‌هاي محيط (خروجی های اتوماتا)، ‏o مجموعه خروجي‌هاي محيط (ورودی های اتوماتا)، ‏Learning Automata ‏o مجموعه احتمال‌هاي جريمه است. 18 از 59 محیط ‏www.prozhe.com دریافت اسخ ن ام طلوباز م حیط هنگام یکه اقدام iدر م حیط اعما ل پ ci oاحتما ل ‌ش ود. می ‏Learning Automata oیا 19 از 59 www.prozhe.com محیط مجموعه خروجی های محیط ‏Learning Automata 20 از 59 محیط مجموعه ورودی های محیط www.prozhe.com رابطه بین اتوماتای یادگیر و محیط ‏Learning Automata 21 از 59 مدل های محیط بر حسب βiها (پاسخ محيط) داریم: ‏www.prozhe.com • مدل : P اگرخروجی محیط تنها دو مقدار 0و 1را اختیار کند . ‏Learning Automata • مدل : Q تعداد محدود (به طور گسسته) ،در بازه [ ]0 ،1باشد. • مدل : S چنانچه خروجی محیط یک متغیر تصادفی با مقادیر احتمال در بازه []0 ،1 باشد. 22 از 59 مدل های محیط ‏www.prozhe.com اگر ciها ثابت و مشخص باشد؟ • نيازي به يادگيري نيست! • اقدام بهينه = اقدامي با كمترين جريمه. ‏Learning Automata ‏مسائلی که ciها ناشناخته هستند مورد نظر می‌باشند. 23 از 59 معیارهای رفتار اتوماتای یادگیر ‏www.prozhe.com براي اندازه گيري کارايي اتوماتاي يادگير تصادفي شاخصهاي معيني تعريف شده اند که امکان مقايسه روشهاي مختلف يادگيري را فراهم مي آورند . ‏Learning Automata ‏يک اتوماتاي تصادفی محض ( )Pure-Chance Automatonبه صورت اتوماتايي تعريف می شود که عمل هاي آن هميشه احتمال يکساني براي انتخاب شدن داشته باشند. بنابراين يک اتوماتاي يادگير بايد از يک اتوماتاي تصادفی محض بهتر عمل کند. 24 از 59 معیارهای رفتار اتوماتای یادگیر ‏www.prozhe.com ‏محيط توسط احتماالت جريمه داده می شود که ciاحتمال جریمه متناظر با عمل نشان است. ‏Learning Automata مقدار ) M(nبه صورت ميانگين جريمه هاي دريافت شده توسط اتوماتا (براي يک بردار عمل مفروض) تعريف و بر اساس رابطه زیرمحاسبه می شود. 25 از 59 معیارهای رفتار اتوماتای یادگیر ‏www.prozhe.com براي يک اتوماتاي تصادفی محض ميانگين جريمه ها ) M(nیک عدد ثابت M0است که طبق رابطه زیربه دست می آید. ‏Learning Automata بنابراين اتوماتايي که بخواهد بهتر از اتوماتاي تصادفی محض عمل کند بايد ميانگين جريمه هاي کمتري از M0داشته باشد. از آنجایی که ) M(nیک متغیر تصادفی است امید ریاضی ) M(nبا M0مقايسه می شود .بنابراين اسالید های بعد را خواهيم داشت. 26 از 59 معیارهای رفتار اتوماتای یادگیر ‏www.prozhe.com اتوماتای یادگیر مصلحت اندیش: expedient اگر: ‏Learning Automata ‏اين نوع اتوماتون صرف بهتر از اتوماتون مبتني بر شانس عمل مي‌كند و رفتار بهينه ندارد. 27 از 59 معیارهای رفتار اتوماتای یادگیر ‏www.prozhe.com اتوماتای یادگیر بهینه : Optimal اگر : ‏Learning Automata در حالي که بهينه بودن اتوماتا يک ويژگي مطلوب در محيطي ايستا به شمار مي رود ،در عمل ممکن است يک کارائي زيربهينه مورد نياز باشد. يک محيط واقعي معموال متغير است و در صورتی که توزیع متغیر در طول زمان تغییر کند از آنجايي که الگوريتم بر روي هيچ حالت خاصي متوقف نمي ماند يک اتوماتاي نيمه بهينه مناسب تر می باشد. 28 از 59 معیارهای رفتار اتوماتای یادگیر ‏www.prozhe.com اتوماتای یادگیر بهینه : ε-Optimal اگر : ‏Learning Automata ‏مناسب در یک محیط غیرایستا non-stationaryاست. 29 از 59 معیارهای رفتار اتوماتای یادگیر ‏www.prozhe.com اتوماتاي يادگير Absolutely Expedientگفته مي‌شود ،اگر : ‏Learning Automata علت آنكه در سمت راست نامساوي از اميد رياضي استفاده ننموده‌ايم آنست كه چون مرحله nام را پشت سر گذاشته‌ايم .پس ) M(nثابت است ولي ) M(n+1احتمالي است و بستگي به ) p(nدارد. 30 از 59 معیارهای رفتار اتوماتای یادگیر ‏www.prozhe.com Expediency بندرت نشان می دهد که اتوماتاي يادگير بهتر از اتوماتاي تصادفی محض عمل می کند .بنابراين بهينگی شاخص مناسب تري براي مقايسه روش هاي مختلف يادگيري می باشد. ‏Learning Automata بهينه بودن اطمينان می دهد که عملي که توسط اتوماتا انتخاب می شود عملي بهينه باشد .در محيط هاي واقعي به علت متغير بودن محيط رفتار زير بهينه ارجحيت دارد. 31 از 59 الگوریتم یادگیری ‏www.prozhe.com الگوریتم یادگیری Tمی تواند به صورت زیر نشان داده شود: ‏Learning Automata اگ ر عملکرد خط ی باش د الگوریت م یادگی ر خط ی و در غی ر ای ن صورت غیرخطی نامیده می شود. 32 از 59 الگوریتم یادگیری ‏www.prozhe.com ایده اصلی الگوریتم های یادگیر به صورت زیر است: ‏اگر اتوماتا در تکرار nام عمل دریافت کند ،احتمال را انتخاب کند و از محیط پاسخ مطلوبی مربوط به عمل انتخاب شده افزایش می یابد و ‏Learning Automata احتمال سایر اعمال کاهش می یابد. ‏اگ ر پاس خ دریافت ی از محی ط نامطلوب باش د احتمال احتماالت افزایش می یابد. 33 از 59 کاه ش و سایر الگوریتم یادگیری ‏www.prozhe.com پاسخ مطلوب از محيط : β(n)=0 ‏Learning Automata پاسخ نامطلوب از محيط : β(n)=1 34 از 59 الگوریتم یادگیری ‏www.prozhe.com توابع fiو giدو تابع غیر منفی هستند که منظور پاداش و جریمه بکار برده می شوند که به صورت زیر تعریف می شوند: ‏Learning Automata که: • rت عداد اقدام هایاتوماتا، است • aپ ارام تر پ اداشو bپ ارام تر جریمه . 35 از 59 الگوریتم یادگیری ‏www.prozhe.com ‏اگر پارامتر aو bمساوی باشند .طرح پاداش -جریمه خطی یا LRP ) (Learning Reward-Penaltyنامیده می شود. ‏Learning Automata ‏در این روش نرخ آپدیت بردار احتمال در هر گام زمانی صرفنظر از پاسخ محیط ،یکسان است. 36 از 59 الگوریتم یادگیری ‏www.prozhe.com اگر پارامتر bیادگیری برابر با صفر باشد ،به این روش پاداش خطی یا ‏LRI ) (Learning Reward-Inactionمی گویند. این به این معنی است که احتماالت عمل در برابر پاسخ جایزه از محیط آپدیت می شود ،اما جریمه ها ازریابی نمی شوند. ‏Learning Automata اگر b ≪ aباشد ،روش یادگیری جریمه جزیی -پاداش خطی یا LRεPبدست می آید. 37 از 59 الگوریتم یادگیری با استفاده از معادالت ذكر شده داريم‌: ‏www.prozhe.com ‏آ – پاسخ مطلوب ‏Learning Automata ‏ب – پاسخ نامطلوب 38 از 59 انواع اتوماتاهای یادگیر ‏www.prozhe.com اتوماتاهای یادگیر را بر اساس نوع بردار احتمال می توان به دو دسته کلی تقسیم کرد: اتوماتاهایی با ساختار ثابت: بردار احتمال آن در طی اجرای الگوریتم ثابت است. ‏Learning Automata اتوماتای ساختار متغیر: بردار احتماالت در طول اجرای الگوریتم تغییر می کند. 39 از 59 انواع اتوماتاهای یادگیر با ساختار ثابت ‏www.prozhe.com اتوماتای یادگیر با ساختار ثابت را با یک پنج تایی به شکل نشان می دهندکه در آن αمجموعۀ عمل ها β ،مجموعۀ ورودی ها از محیط F ،تابع تغییر وضعیت براساس پاسخ محیط و Gتابعی است که وضعیت فعلی را به خروجی بعدی نگاشت می کند .تابع Φمجموعه ‏Learning Automata حاالت داخلی اتوماتاست. 40 از 59 انواع اتوماتاهای یادگیر با ساختار ثابت -1اتوماتای : L2,2 ‏www.prozhe.com این اتوماتا تنها دارای دو حالت ϕ1و ϕ2و دوخروجی α1و α2است. ورودی به اتوماتا دو مقدار{ }1،0است .اتوماتا با دریافت ورودی 1حالت خود را عوض می کند و با دریافت ورودی 0در همان حالت می ماند. ‏Learning Automata {Φ1, Φ2} , {α1, α2} , {c1, c2} , }{0,1 41 از 59 انواع اتوماتاهای یادگیر با ساختار ثابت -2اتوماتای : L2N,2 ‏www.prozhe.com این اتوماتا تغییر یافته اتوماتای L2,2است که دارای N 2حالت و دو اقدام می باشد. ‏اتوماتای L2,2با دریافت جواب نامطلوب به عمل دیگر انتقال می یافت اما ‏Learning Automata در این نوع اتوماتا برای هر عمل تعداد موفقیت ها و شکست ها نگه داری شده و تنها زمانی تغییر حالت روی می دهد که تعداد شکست ها از تعداد موفقیت ها بیشتر شود. 42 از 59 انواع اتوماتاهای یادگیر با ساختار ثابت ‏www.prozhe.com • در این اتوماتا حاالت ϕ1, ϕ2,..., ϕNمربوط به اقدام α1و حاالت ϕN+1, ϕN+2,..., ϕ2Nمربوط به اقدام α2است. ‏N+3 N+2 N+1 2N 2N-1 ‏N ‏N-1 2 3 1 ‏Learning Automata پاسخ مطلوب β=0 ‏N+3 N+2 N+1 43 از 59 2N 2N-1 پاسخ نا مطلوب β=1 ‏N-1 N 3 2 1 انواع اتوماتاهای یادگیر با ساختار ثابت -3اتوماتای کرینسکی (: )Krinsky ‏www.prozhe.com رفتار این اتوماتا در برابر پاسخ مطلوب ،حالت ϕiبه ازای ) )i=1,2,..,Nبه حالت ϕ1می رود و در حالت ϕiبه ازای ) i=(N+1,N+2,..,2Nبه حالت ϕN+1تغییر می یابد .این اتوماتا برای پاسخ نامطلوب مانند اتوماتای L2N2می کند. ‏Learning Automata ‏N+1 ‏N+3 N+2 ‏N-1 N 2N 2N-1 3 2 1 ‏b=0 ‏ N failures are needed to have a state change 44 از 59 انواع اتوماتاهای یادگیر با ساختار ثابت change 45 59 از Learning Automata www.prozhe.com  N failures are needed to have a state انواع اتوماتاهای یادگیر با ساختار ثابت -4اتوماتای کرایلوف (:)Krylov ‏www.prozhe.com ای ن اتومات ا برای پاس خ مطلوب مانن د اتوماتای L2N2عم ل م ی کن د ،ام ا با مشاهده پاسخ نامطلوب از محیط با احتمال 0/5از حالت ϕiکه ( )i ≠1,N,N+1,2Nبه حالت ϕi+1و یا ϕi-1می رود. ‏Learning Automata 0.5 0.5 0.5 2N-1 N+2 N+1 0.5 2N 0.5 ‏N ‏b=1 46 از 59 0.5 ‏N-1 2 0.5 1 انواع اتوماتاهای یادگیر با ساختار ثابت  When Automaton encountered with a failure,Each ½. L2N,2 تغيير وضعيت مانند اتوماتون،زمانيكه پاسخ محيط مطلوب است .مي‌باشد b=0 47 59 از Learning Automata Φi-1 with probability ½ or to www.prozhe.com state Φi is changed to Φi+1 with probability اتوماتای یادگیر با ساختار متغیر ‏www.prozhe.com یک اتوماتای یادگیر با ساختار متغییر به صورت زیر تعریف می شود: }LA = {a,b,p,T,c که: • } a = { a1, a2,..., anمجموعه عمل ها، • } b = { b1, b2,..., bnم جموعه ورودیها، ‏Learning Automata • } p = { p1, p2,..., pnب ردار احتما لان تخابها، ادگیری ، • ]) T : p(n+1) = T[a(n),b(n),p(nا لگوریتم ی • } c = {c1,c2,..., crم جموعه احتما لهایجریمه. این اتوماتا احتمال های عمل خود را بر طبق پاسخ محیط آپدیت می کند. 48 از 59 اتوماتای یادگیر با ساختار متغیر ‏اگر عمل αiدر مرحله nانتخاب و محیط پاسخ مطلوب بدهد ‏www.prozhe.com احتمال افزایش و سایر احتماالت کاهش می یابد .اگر محیط پاسخ نامطلوب بدهد احتمال کاهش و سایر احتماالت افزایش می یابد. ‏Learning Automata ‏در هر حال‌،تغييرات بگونه‌اي صورت مي‌پذيرد كه حاصل جمع تمام ) pi (nها همواره برابر با 1است. 49 از 59 ويژگي‌هاي اتوماتاهاي يادگير ‏www.prozhe.com برای استفاده از اتوماتای یادگیر در یک کاربرد باید ویژگی های بنیادی اتوماتاهای یادگیر و طبیعت کاربرد را با هم در نظر گرفت. ‏Learning Automata . اتوماتاهای یادگی ر ب ا دارا بودن ویژگی‌های اس الید بع د به عنوان ابزار قدرتمندی در حل بسیاری از مسائل استفاده گردیده است. 50 از 59 ويژگي‌هاي اتوماتاهاي يادگير -1 اتوماتاهای یادگیر در شرایطی که هیچگونه اطالعاتی در دسترس نیست به خوبی ‏www.prozhe.com عمل می‌کنند. -2 اتوماتاهای یادگیر برای بهبود وضعیت خود در هر مرحله به یک بازخورد ساده از محیط نیاز دارند. -3 اتوماتاهای یادگیر به عنوان مدلی برای یادگیري در محیط‌های توزیع‌شده و چند ‏Learning Automata عامله با ارتباطات محدود و اطالعات ناقص بسیار کارساز هستند. -4 اتوماتاهای یادگیر در شرایطی ک ه عدم اطمینان وجود دارد دارای عملکرد خوبی می‌باشند. 51 از 59 ويژگي‌هاي اتوماتاهاي يادگير ‏www.prozhe.com -5 اتوماتاهای یادگیر عمل جستجو را در فضای احتمال انجام می‌دهند. -6 اتوماتاهای یادگیر ساختاری ساده دارند و به همین دلیل به سادگی در نرم‌افزار یا سخت‌افزار قابل پیاده‌سازی هستند. ‏Learning Automata -7 اتوماتاهای یادگیر دارای بار محاسباتی بسیار کم می‌باشند و به همین دلیل به سادگی در کاربردهای بالدرنگ قابل استفاده می‌باشند. 52 از 59 ويژگي‌هاي اتوماتاهاي يادگير ‏www.prozhe.com از طرف دیگر استفاده از اتوماتاهای یادگیر در کاربردهایی مفید است که یک یا چند خصوصیت زیر را دارا باشند: -1 کاربرد به اندازه‌ي کافی پیچیده و نامطمئن باشد به طوریکه یک مدل ریاضی برای آن موجود نباشد. ‏Learning Automata -2 کاربرد قابلی ت کنترل توزیع ی و مدل س ازی توس ط مجموعه‌ای از عامل های خودمختار را داشته باشد. - 3 سیگنال تقویتی یک متغیر تصادفی باشد و بر اساس معیار کارایی تولید گردد. 53 از 59 ويژگي‌هاي اتوماتاهاي يادگير ‏www.prozhe.com -4بهبود کمی در کارایی مورد نظر صرفه‌ي اقتصادی باالیی داشته باشد. -5الگوریتم قطعی برای کاربرد مورد نظر وجود نداشته باشد. ‏Learning Automata 54 از 59 محدودیت ها اتوماتاهاي يادگير ‏www.prozhe.com -1اتوماتاهای یادگیر از اطالعات اولیه‌ي کمی استفاده می‌کنند و اطالعات اضافی درباره‌ي محیط همیشه در اتوماتاهای یادگیر قابل استفاده نمی‌باشد. -2نرخ همگرایی اتوماتاهای یادگیر برای بسیار از کاربردها پایین می‌باشد. ‏Learning Automata -3اتوماتاهای یادگیر مدل های غیر متداعی می‌باشند. 55 از 59 اتوماتاي يادگير توزيع شده ‏www.prozhe.com اتوماتاي يادگير توزيع شده ( ، )DLAشبكه‌اي از اتوماتاهاي يادگير است كه براي حل يک مساله با يكديگر همكاري مي نمايند. تعداد اقدامهاي يك اتوماتا در DLAبرابر تعداد اتوماتاهاي يادگير متصل به اين اتوماتاي يادگير مي باشد. ‏Learning Automata انتخاب يك اقدام توسط يك اتوماتاي يادگير در شبكه ،اتوماتاي يادگير متناظر با اين اقدام را فعال مي سازد. 56 از 59 اتوماتاي يادگير توزيع شده ‏www.prozhe.com oمثال :اتوماتاي يادگير توزيع شده ( )DLAبا 3اتوماتا ي يادگير ‏Learning Automata 57 از 59 اتوماتاي يادگير توزيع شده ‏www.prozhe.com در شکل قبل هر اتوماتا يادگير داراي دو اقدام مي باشد. انتخاب اقدام توسط اتوماتاي يادگير فعال شده ،اتوماتا يادگير را فعال خواهد كرد. سپس يكي از اقدامهاي خود را انتخاب مي ‏Learning Automata كند كه در نتيجه آن يكي از اتوماتاهاي يادگير متصل به آن اتوماتاي يادگير كه متناظر با اقدام انتخاب شده مي باشد فعال مي شود .در هر زمان فقط يك اتوماتاي يادگير در شبكه فعال ميباشد. 58 از 59 اتوماتاي يادگير توزيع شده بطور رسمي DLAرا ميتوان توسط گراف که ‏www.prozhe.com مجموعه اتوماتاهاي يادگير و nتعداد اتوماتاهاي يادگير در DLAو مجموعه لبه‌هاي گراف مي باشد ،تعريف كرد. لبه اقدام jاتوماتا ي يادگير ‏Learning Automata كه اقدام jاتاماتای یادگیر ( را نشان مي دهد. زماني فعال خواهد شد انتخاب شود .تعداد اقدامهاي اتوماتاي يادگير ) برابر درجه‌ي خروجي گره متناظر با اتوماتاي يادگير 59 از 59 مي باشد. 59 از Learning Automata www.prozhe.com پایان