کنترل پیش بین مبتنی بر مدل توزیع شده و کاربرد آن در آرایش بندی سیستم های چندعاملی

کنترل پیش بین مبتنی بر مدل توزیع شده و کاربرد آن در آرایش بندی سیستم های چندعاملی

اسلاید 1: دانشگاه صنعتی امیرکبیر دانشکده مهندسی پزشکی کنترل پیش بین مبتنی بر مدل توزیع شده و کاربرد آن در آرایش بندی سیستم های چندعاملی استاد:جناب آقای دکتر توحیدخواهارائه دهنده:عادله محمدیآذرماه1389

اسلاید 2: فهرست مطالب

اسلاید 3: عامل Agentيک وجود كه محيط را از طريق سنسورها درك كرده و به صورت خودمختار بر روي آن عمل مي‌كند. 3

اسلاید 4: عامل در قالب يك سيستم فيدبكي4

اسلاید 5: خودمختاري Autonomyعامل ‌بدون دخالت مستقيم انسان يا هر وجود ديگر، در تصميم‌گيري و عمل خود داراي استقلال است.5

اسلاید 6: عامل ها خودمختارند :احساس محیط خود و سایر عامل هارد و بدل اطلاعات با سایر عامل ها محاسبه و اجرای اعمال کنترلی لازم برای رسیدن به سهم خود در تابع هدف6

اسلاید 7: 7سیستم های چندعاملی Multi-agent Systemsوقتي تعدادي عامل با درک مفهوم خودمختاري در کنار هم قرار گرفته تا در كنار اهداف فردي، هدف جمعي عمدتاً والاتري در همان راستا را دنبال كنند، عنوان سيستم هاي چندعاملي تجلي پيدا مي‌کندتحقق هدفی در سطح سیستم7

اسلاید 8: 88مفاهيم مربوط به سيستم هاي چندعاملي

اسلاید 9: همکاری Cooperationتوافق عامل ها برای داشتن هدفی مشترک با سایر عامل ها، که این هدف معمولا به صورت آفلاین مشخص می شود. به اشتراک گذاشتن اطلاعات به صورت آنلاین برای تحقق هدف مشترک9

اسلاید 10: Distributionویژگی ذاتی سیستم های چندعاملی :توزیع شدگییعنی هر عامل توسط انتقال اطلاعات محلی با سایر عامل ها باید ”مختارانه“ عمل کند.10

اسلاید 11: کنترل توزیع شده طبیعت ابعاد وسیع سیستم هاکاربردهای ابعاد وسیع سیستم های قدرت سیستم های توزیع آب سیستم ترافیک سیستم های تولید سیستم های اقتصادی11

اسلاید 12: DMPC vs. CMPC ورودی کنترلی کل12دینامیک کل سیستم حل یکمسئله بهینه سازی ورودی های کنترلی محلیدینامیک تک تک عامل هاحل چندمسئله بهینه سازی

اسلاید 13: کنترل بهینه غیرمتمرکز Optimal Decentralized ControlOptimal control problem subject to decentralized information structure constraintsهر فیدبک محلی فقط به حالت های محلی که اطلاعات آنها کامل است دسترسی دارد13

اسلاید 14: Optimal Decentralized Controllers حالت های هر زیرسیستم و همسایه های آن با اندازه گیری یا انتقال اطلاعات در دسترس استبا اهداف هماهنگ بین عامل ها همخوانی داردمحاسبات موازی و توزیع شده14

اسلاید 15: MPC توزیع شده هر عامل : متغیرها، تابع هزینه و قیود محلیمسائل بهینه سازی محلی کوچکتر از مساله بهینه سازی متمرکزدرجه ای از هماهنگی بین عامل ها نیاز استتامین اطلاعات مورد نیاز 15

اسلاید 16: آرایش بندی در سیستم های چندعاملیايجاد تعاملي مناسب بين تعدادي از عامل‌ها در يک فضاي مشخص یکی از مسائل مهم در سیستم های چندعاملی مسئله همكاري و هماهنگي بين تعدادي از عامل‌هاست كه قرار است به الگوي خاصي دست يابند. هر گاه اين تعامل در يك فضا نمود پيدا كند، آنگاه عنوان آرايش‌بندي (Formation ) تعبير مناسبي براي آن است.16

اسلاید 17: آرايش‌بندي در طبيعتآرايش‌بندي در طبيعت نيز قابل مشاهده است که می‌توان به حركت پرندگان در آسمان و پخش شدن گونه‌ها در محيط اشاره کرد.17

اسلاید 18: آرايش‌بندي در طبيعت18

اسلاید 19: انواع هدف در آرایش بندی19

اسلاید 20: آرايش‌بندي ثابترسيدن به آرايش مناسب به عنوان صورت مسئله مطرح مي‌شود. در ابتدا عامل‌ها در محيط پراكنده هستند و بايد ضمن تعامل با محيط، در حضور سایر عامل‌ها به سمت آرايشي كه بر اساس خواسته‌هاي مسئله تعيين مي‌شود، همگرا شوند.20

اسلاید 21: آرايش‌بندي متحرك21هدف اصلي حفظ يا تغيير مناسب آرايش حين تغييرات محيط و در حضور ساير عامل‌ها است

اسلاید 22: انواع آرايش‌بندي متحرك1. يك عامل به عنوان رهبر در محيط مدنظر قرار گرفته و ساير عامل‌ها در تعامل با آن، تصميم مناسب را اتخاذ مي‌كنند. 2. رهبر مجازي بوده كه بر اساس هدف و شرايط محيط، ساير عامل‌ها به صورت مجازی خود را با آن تنظيم مي‌كنند. 3. عامل‌ها به صورت محلي خود را با عامل‌هاي همسايه هماهنگ کرده و سعي مي‌كنند ضمن حفظ آرايش، به تغييرات محيط پاسخ دهند. 22

اسلاید 23: آرايش‌بندي فضايي/ منطقیآرايش‌بندي فضايي صرفاً تعاملات مختصاتي هدف اصلي تعريف مي‌شود كه تعاملات با ساير عامل‌ها نيز محدود به همين فرض است. آرایش عامل‌ها در سه گوشه يك مثلث متساوي‌الاضلاع هدف: حفظ فاصله مساوی بين همه عامل‌ها23مثال

اسلاید 24: آرايش‌بندي منطقيمي‌توان تعمیم آرايش‌بندي فضايي دانست كه علاوه بر مختصات فضایی پارامترهای دیگری نیز در تعیین تصميم‌گيري دخیل هستند. شبكه پدافند موشكي پارامترهايي مثل فاصله امن از يكديگر، ميزان هم‌پوشاني، ميزان اختفاء و فاصله از مراكز حساس نيز مورد توجه است. 24مثال

اسلاید 25: موانع هوشمند/ غيرهوشمند حركت عامل‌ها در محيط تحت تأثير محيط محدود مي‌شود. يكي از اين محدوديت‌ها وجود موانع است.موانع استاتيكدر پارامترهاي هدف تأثيرگذار نيستند.اين موانع غير هوشمند بوده و تعامل با آنها آسان است. 25

اسلاید 26: در مقابل ممكن است موانعي وجود داشته باشند كه ابعاد هدف را تغيير داده و بعضاً در صورت بروز رقابت بين عامل‌ها، ممكن است كلاً صورت مسئله را تغيير دهند.(لزوم تطبيق و يادگيري)26

اسلاید 27: کاربردهاشبكه سنسورهاي بي‌سيم در محيط‌هاي تداخليانجام عمليات جستجو (امداد و نجات،‌ مين‌يابي)كنترل حركت ماهواره در مدار زمينروابط بين‌المللیامنيت شبكه‌هاي اينترنتيمديريت بحران و منابعسپر دفاع موشكيمحيط نبرد27

اسلاید 28: واژه‌هاي معادل يا هم‌ارزهر يك جنبه‌های خاصي را دقيق‌تر بررسي مي‌كنند28

اسلاید 29: ائتلاف Coalitionعامل‌ها الزاماً اهداف يكساني را دنبال نمي‌كنند، ولي ممكن است در ادامه انجام وظايف محوله در مقاطع زماني خاصي به يكديگر نياز داشته باشند. ” ائتلاف در حالت كلي هدفدار و موقت بوده كه بر اساس يك هدف میانی شكل گرفته و زماني به پايان مي‌رسد كه هدف از بين رفته باشد يا ادامه آن با اهداف اوليه در تضاد باشد يا اينكه ادامه حضور در ائتلاف سودي براي عامل نداشته باشد“ . 29

اسلاید 30: حرکت گله ای Flocking behavior يكي از انواع رفتارهاي اجتماعي گروه بزرگي از عامل‌‌‌ها با يك هدف يكسان با هم در تعامل‌اند. در اين رفتار همه عامل‌ها در يك فاصله مشخص با سرعت يكسان حركت كرده و از برخورد با موانع و يكديگر خودداري مي‌كنند. كاربردها: پايش محيط با استفاده از گروه بزرگي از سنسورهاي متحرك تحويل موازي بار به مقصد انجام عمليات امداد و نجات30

اسلاید 31: كنترل پوشش Coverage Control هدف : ايجاد همپوشاني مناسب در انجام يك وظيفه همگاني است مشابه آرايش‌بندي ثابت تفاوت : هدف پوشش محيط است و تأكيدي بر روي آرايش وجود ندارد31

اسلاید 32: اجماع Consensusرسيدن همه عامل‌ها به يك حالت واحد و يكسان و ايجاد هماهنگي بين آنها32

اسلاید 33: حل مساله آرایش بندی با RHC Why RHC?Generality: generic state & control cons.Reconfigurability: redefine functions & cons. To reflect changesWhy not RHC?Computational demandTheoretical Conservation: proofs of stability33

اسلاید 34: RHC توزیع شدهراه حل غیر متمرکز مزایای زیر را دارد:خودمختاری زیرسیستم ها حفظ می شود.scalableخودمختاری عامل ها حفظ می شود و نتیجه قابل گسترش به تعداد زیادی عامل است.مشکل RHC توزیع شده: در تئوری فقط یک راه حل متمرکز، پایداری مجانبی را تضمین می کند.34

اسلاید 35: حل مساله آرایش بندی با RHC تابع هدف مناسبی تعریف می شود و یک مساله کنترل بهینه برای تحقق هدف نهایی یعنی آرایش بندی و هماهنگی ربات ها در قالب کنترل پیش بین مبتنی بر مدل حل می شود.هدف این است که با استفاده از روش افق پیش بین گروهی از عامل ها را به سوی هدف مشترکی هدایت کرده و پایدار کنیم.35

اسلاید 36: قیود در سیستم های چندعاملیعامل ها هر یک دینامیک دارند. قیود ممکن است برای هر یک از عامل ها به طور فردی وجود داشته باشد مثلا ورودی کنترلی محدود برای هر عامل.دسته دیگری از قیود وجود دارند که مربوط به ذات سیستم هستند. مثلا قید نانهولونومیکبسته به هدفی که تعریف شده به وجود می آیند و عامل ها را با هم کوپل می کنند مثلا قیود جلوگیری از تصادم.36

اسلاید 37: معرفی سیستم و شرایط مسالهبرای هر عامل37حالت ها و کنترل دینامیک هر یک به صورت زیر استدینامیک خطی و همسان برای عامل ها

اسلاید 38: معرفی سیستم و شرایط مسالههر عامل تحت قیود ورودی و حالت زیر قرار دارد38هدف کنترلی این است که تمامی عامل ها به طور مجانبی و با همکاری یکدیگر به که یک نقطه تعادل معادله دینامیک سیستم است برسند

اسلاید 39: RHC متمرکزهمکاری عامل ها با مینیمم کردن تابع هزینه زیر تحقق می یابد39وزن های ثابت و مثبت هزینه Tracking

اسلاید 40: RHC متمرکزدر این مرحله لازم است فرضیاتی در نظر گرفته شوند.مثلا اینکه تمام حالت ها قابل اندازه گیری هستند.زمان انجام محاسبات در برابر پیشروی دینامیک حلقه بسته قابل صرفنظر کردن است.40می توان تابع هزینه جمعی را به صورت معادل زیر نیز بنویسیم

اسلاید 41: centralized open-loop optimal control problem41

اسلاید 42: RHC متمرکزمسئله کنترل بهینه مورد نظر را در زمان42 مقدار دهی اولیه می کنیمدوره زمانی به روز شدن افق غلطکیسیستم حلقه بستهقانون کنترل افق پیش بین متمرکز به صورت زیر است

اسلاید 43: RHC توزیع شدههر دو عاملی که با هم همکاری می کنند همسایه نامیده می شوند.G گراف تعامل بین عامل هاستبرای هر عامل i43

اسلاید 44: Decoupled integrated Cost44

اسلاید 45: RHC توزیع شدههر عامل با دردست داشتن حالت کنونی خود و همسایه هایش مساله کنترل بهینه حلقه باز خود را حل می کند.قبل از هر آپدیت، هر عامل i ، کنترل مفروض برای هر کدام از همسایه های خود را دریافت می کند.45

اسلاید 46: RHC توزیع شده46

اسلاید 47: RHC توزیع شده47

اسلاید 48: Local compatibility constraintاین قید تضمین می کند که هیچ عاملی در مساله بهینه سازی از آنچه که همسایه هایش از آن انتظار دارند، خیلی فراتر نمی رود.Degree of consistency between what a vehicle plans to do and what neighbors believe that vehicle will plan to doمتناظر با توان دوم پریود آپدیت است.48

اسلاید 49: Controller49

اسلاید 50: پایداریهدف رساندن حالت ها به مبدا Optimal Cost Function as Lyapunov functionTerminal Constraints Terminal inequality constraint Terminal cost function50

اسلاید 51: Dual-Mode RHCRobustness to model uncertainty in the presence of generic state constraints by making the constraints more conservative.51

اسلاید 52: Centralized52

اسلاید 53: Distributed53

اسلاید 54: مقایسه روش هابرتری محاسبات توزیع شده نسبت به محاسبات موازی:در روش توزیع شده در هنگام حل مساله بهینه سازی هیچ انتقال اطلاعاتی بین عامل ها نیاز نیستدر بهینه سازی موازی در حین تکرار مساله بهینه سازی، مسائل با هم در ارتباطند.هزینه ارتباطی پایینتر54

اسلاید 55: مراجعDistributed Receding Horizon Control of Multi-agent Systems, William B. Dunbar, California Institute of Technology Pasadena, California, 2004Receding Horizon Control of Multi-Vehicle Formations: A Distributed Implementation, William B. Dunbar, Richard M. Murray, Control and Dynamical Systems 107-81, California Institute of Technology, Pasadena, CA 91125, 2004 IEEE CONFERENCE ON DECISION AND CONTROLDistributed Model Predictive Control By Eduardo Camponogara, Dong Jia, Bruce H. Krogh, and Sarosh Talukdar, Department of Electrical and Computer Engineering, Carnegie Mellon University, Pittsburgh, PA 15213, U.S.A, IEEE Control Systems Magazineآرايش‌بندي عامل‌ها با استفاده از يادگيري تقويتي در محيط‌هاي رقابتي با كاربرد در بازي‌جنگ، دانشگاه صنعتي اميركبير، دانشكده مهندسي برق، رساله دکتراي مهندسي برق گرايش كنترل، علي اکرمي زاده، دكتر احمدافشار، دكتر محمدباقر منهاج، 1389.55

اسلاید 56: 56با تشکر از توجه شما

اسلاید 57: 57