عدم قطعیت و قانون بیز

عدم قطعیت و قانون بیز

اسلاید 1: بسم الله الرحمن الرحیم

اسلاید 2: عدم قطعیت و قانون بیزدانشجو : فریده گل محمدی استاد : جناب آقای گودرزی پور

اسلاید 3: فهرست منابع: قضیه بیز اصل عدم قطعیت معادله اصلی یادگیری ماشینی به کمک نظریه بیز تئوری بیز در یادگیری ماشین تعریف مفاهیم اولیه فرمول بیز نتیجه گیری منابع

اسلاید 4: قضیه بیز(به انگلیسی: Bayes theorem) روشی برای دسته بندی پدیده‌ها، بر پایه احتمال وقوع یا عدم وقوع یک پدیده‌است و در نظریه احتمالات با اهمیت و پرکاربرد است. اگر برای فضای نمونه‌ای مفروضی بتوانیم چنان افرازی انتخاب کنیم که با دانستن اینکه کدامیک از پیشامدهای افراز شده رخ داده‌است، بخش مهمی از عدم‌اطمینان تقلیل یابد.آمار بیزیتئوری

اسلاید 5: این قضیه از آن جهت مفید است که می‌توان از طریق آن احتمال یک پیشامد را با مشروط کردن نسبت به وقوع و یا عدم وقوع یک پیشامد دیگر محاسبه کرد. در بسیاری از حالت‌ها، محاسبهٔ احتمال یک پیشامد به صورت مستقیم کاری دشوار است. با استفاده از این قضیه و مشروط کردن پیشامد مورد نظر نسبت به پیشامد دیگر، می‌توان احتمال مورد نظر را محاسبه کرد.

اسلاید 6: اصل عدم قطعیت (به انگلیسی: Uncertainty principle) در مکانیک کوانتومی را ورنر هایزنبرگ، فیزیکدان آلمانی، در سال ۱۹۲۶ فرمول‌بندی کرداصل عدم قطعیت

اسلاید 7: در فیزیک کوانتومی، اصل عدم قطعیت هایزنبرگ، اظهار می‌دارد که جفت‌های مشخصی از خواص فیزیکی، مانند مکان و تکانه، نمی‌تواند با دقتی دلخواه معلوم گردد. به عبارت دیگر، افزایش دقت در کمیت یکی از آن خواص مترادف با کاهش کاهش دقت در کمیت خاصیت دیگر است. این عبارت به دو روش گوناگون تفسیر شده‌است. بنا بر دیدگاه هایزنبرگ، غیر ممکن است که همزمان سرعت و مکان الکترون یا هر ذرهٔ دیگری با دقت یا قطعیت دلخواه معین شود. بنا بر دیدگاه گروه دوم، که افرادی چون بالنتین در آن قرار دارند.

اسلاید 8: ، این عبارت راجع به محدودیت دانشمندان در اندازه‌گیری کمیت‌های خاصی از سیستم نیست، بلکه امری است راجع به طبیعت و ذات خود سیستم چنان که معادلات مکانیک کوانتومی شرح می‌دهد. در مکانیک کوانتوم، یک ذره به وسیلهٔ بستهٔ موج شرح داده می‌شود. اگر اندازه‌گیری مکان ذره مد نظر باشد، طبق معادلات، ذره می‌تواند در هر مکانی که دامنهٔ موج صفر نیست، وجود داشته باشد و این به معنی عدم قطعیت مکان ذره است. برای به دست آوردن مکان دقیق ذره، این بستهٔ موج باید تا حد ممکن «فشرده» شود، که یعنی، ذره باید از تعداد زیادی موج سینوسی که به یکدیگر اضافه شده‌اند (بر روی هم جمع شده‌اند) ساخته شود.

اسلاید 9: بیان ریاضی اصل عدم قطعیت این است که هر حالت کوانتومی این خاصیت را دارد که ریشه متوسط مربعِ (RMS) انحرافات از مقدار متوسط مکان (موقعیت) (انحراف استاندارد توزیع X): ضرب در RMS انحرافات تکانه از مقدار متوسطش (انحراف استاندارد P):

اسلاید 10: هیچگاه نمی‌تواند از کسر ثابتی از ثابت پلانک کوچکتر باشد: هر عمل اندازه‌گیری با دقت حالت کوانتومی را تقلیل داده و منجر به افزایش انحراف استاندارد تکانه به مقداری بزرگتر از می‌شود.

اسلاید 11: مکانیک کوانتوم دوگانگی موج و ذره

اسلاید 12: معادله اصلی فرض می‌کنیم B1,….BK یک افراز برای فضای نمونه‌ای Sتشکیل دهند. طوری که به ازای هرJ=1,…K ، داشته باشیمP(Bj)>0 و فرض کنید Aپیشامدی با فرض P(A)>0 باشد، در اینصورت به ازای i=1,…k ، داریم:

اسلاید 13: برهان طبق تعریف احتمال شرطی داریم . صورت کسر قضیه طبق دستور حاصلضرب در احتمال شرطی، برابر با و مخرج کسر بنابر قضیه قانون احتمال کل، برابر است.

اسلاید 14: اگر A و B دو پیشامد مفروض باشند، می‌توان پیشامد A را به صورت زیر در نظر بگیریم: A=AB∪AB

اسلاید 15:   یادگیری ماشینی به کمک نظریه بیز برای نگرش بیزی به یادگیری ماشین (و یا هر فرایند دیگر) می‌باید نخست: 1-دانش موجود در باره موضوع را بصورت احتمالاتی فرموله کنیم:برای اینکار باید مقادیر کیفی دانش را بصورت توزیع احتمال، فرضیات استقلال و غیره مدل کرد. این مدل دارای پارامترهای ناشناخته‌ای خواهد بود که برای هر یک از مقادیر ناشناخته، توزیع احتمال اولیه‌ای در نظر گرفته می‌شود که بازگو کننده باور ما به محتمل بودن هر یک ازاین مقادیر بدون دیدن داده‌است.

اسلاید 16: 2-با جمع آوری داده و مشاهدهٔ آن، مقدار توزیع احتمال ثانویه را محاسبه می‌کنیم با استفاده از این احتمال ثانویه: 3-به یک نتیجه گیری در مورد عدم قطعیت می‌رسیم 4-با میانگین گیری روی مقادیر احتمال ثانویه پیش بینی انجام می‌دهیم 5-برای کاهش خطای ثانویه مورد انتظار تصمیم گیری می‌کنیم

اسلاید 17: تئوری بیز در یادگیری ماشین در یادگیری ماشین معمولا در فضای فرضیه H بدنبال بهترین فرضیه‌ای هستیم که درمورد داده‌های آموزشی D صدق کند. یک راه تعیین بهترین فرضیه، این است که بدنبال محتمل ترین فرضیه‌ای باشیم که با داشتن داده‌های آموزشی D و احتمال قبلی در مورد فرضیه‌های مختلف می‌توان انتظار داشت تئوری بیز چنین راه حلی را ارائه می‌دهد. این روش راه حل مستقیمی است که نیازی به جستجو ندارد.

اسلاید 18: سنگ بنای یادگیری بیزی را تئوری بیز تشکیل می‌دهد.این تئوری امکان محاسبه احتمال ثانویه را بر مبنای احتمالات اولیه می‌دهد: همانطور که مشاهده می‌شود با افزایش مقدار کاهش می‌یابد. زیرا هر چه احتمال مشاهده D مستقل از h بیشتر باشد به این معنا خواهد بود که D شواهد کمتری در حمایت از hدر بر دارد.

اسلاید 19: تعریف مفاهیم اولیه فرض کنید که فضای فرضیه و مجموعه مثالهای آموزش موجود باشند. مقادیر احتمال زیر را تعریف می‌کنیم: p(h) : احتمال اولیه‌ای (prior probablity) که فرضیه h قبل از مشاهده مثال آموزشی D داشته‌است . اگر چنین احتمالی موجود نباشد می‌توان به تمامی فرضیه‌ها احتمال یکسانی نسبت داد. P(D):احتمال اولیه‌ای که داده آموزشی D مشاهده خواهد شد. P(Dh):احتمال مشاهده داده D آموزشی به فرض آنکه فرضیه hصادق باشد.

اسلاید 20: P(hD) :احتمال ثانویه (posterior probablity) نامیده می‌شود یعنی احتمال اینکه با مشاهده داده آموزشی D فرضیه hصادق باشد و در یادگیری ماشین به دنبال یافتن این احتمال است. توجه شود که احتمال اولیه (p(h) ) مستقل از داده آموزشی است ولی احتمال ثانویه ( p(hD)) تاثیر داده آموزشی را منعکس می‌کند.

اسلاید 21: فرمول بيز:بيز فرمولي دارد براي محاسبه: قطعه قطعه يك احتمالو هر قطعه هم از فرمول E براي محاسبه احتمال اشتراكP (E ∩F ) = P (E F )P (F )كمك بگيريم.به E وجود دارد كه دو قطعه افراز F به دو قطعه فرض كنيد پيشامد ديگري به نام E مثلا براي افراز باشد∩F,E ∩F ترتيبآنگاه داريم:P E = P E ∩F + P (E ∩F )

اسلاید 22: P(E)=P(EF)P(F)+P(EF)P(F) P(EF)P(F)+P(EF)[1-P(F)]صورتي كه E برابر است با حاصلضرب احتمالي شرطي E معادله بالا بيانگر آن است كه احتمال پيشامدرخ نداده است. هر احتمال شرطي به اندازه F با فرض اين كه Eرخ داده است و احتمال شرطي F مي دانيماحتمال پيشامدي كه به آن مشروط شده است وزن داده شده است . اين فرمول بسيار سودمند است زيرا با استفاده از آن مي توانيم احتمال يك پيشامد را ابتدا با مشروط كردن آن بر رخ دادن يا رخ ندادن يك پيشامد تعيين كنيم .يعني موارد زيادي وجود دارد كه محاسبه مستقيم احتمال يك پيشامد دشوار است، در صو رتي كه اگر بدانيم پيشامد معين دومي رخ داده يا نداده است محاسبه آن ساده است، با چند مثال آن را توضيح م يدهيم.

اسلاید 23: مثالشركت بيمه اي بر اين باور است كه افراد را مي توان به دو گروه تقسيم كرد : گروهي كه مستعد تصادف اند و گروهي٠ تصادفي در زمان معيني كه نيستند . آمارهاي اين شركت نشان م ي دهد كه يك فرد مستعد تصادف، با احتمال ٤در صد ،در ظرف يك دوره يك ساله معين خواهد داشت، در صورتي كه اين احتمال براي يك فرد فاقد اين استعداد به ٢درصد كاهش مي يابد. اگر فرض كنيم كه ٣٠ درصد جامعه اي مستعد تصادف است، احتمال اين كه بيمه گذار جديدي درظرف مدت يك سال از قرارداد بيمه، يك تصادف داشته باشد چقدر است؟

اسلاید 24: حلاحتمال مطلوب را ابتدا با شرط اين كه آيا بيمه گذار مستعد تصادف است يا خير، به دست م ي آوريم. فرضAl كنيدپيشامدي را كه A پيشامدي را كه بيم ه گذار در ظرف يك سال از خريد يك تصادف داشته باشد وبيمه گذار مستعد تصادف است نشان دهد، در اين صورت احتمال مطلوب عبارت است از:P(A1)=P(A1|A)P(A)+P(A1|Ac)P(Ac)=(.4)(.3)+(.2)(.7)=.26

اسلاید 25: در هر شاخه‌ای از علوم قواعد و قوانین خاصی وجود دارند که صحت و درستی این قوانین بدون اثبات پذیرفته می‌شود. اینگونه قواعد را اصل می‌نامند. بنابراین در هر علمی ‌تعدادی اصل علمی ‌وجود دارد که برای متخصصین آن علم بطور کامل آشنا هستند. نتیجه گیریاكنون كاربرد قاعده پرقدرت بيز (يعني توانايي خوبي در حل مسائل به ما مي دهد) را در مثالهايي ديديم، یادمان باشد قاعده بیز را p(FiE),P(Fi) را داده باشند یا ساده تر از حل مستقیم زمانی استفاده کنیم که مسئله بتوان آنها را بدست اورد. تشخيص درستFi ها(فرازبندی S هم نکته قابل توجهی می باشد.

اسلاید 26: دگروت-اسکرویش. احتمال و آمار جلد اول. ترجمهٔ دکتر عین‌الله پاشا. ۱۳۸۵. ۹۸. ISBN 978-964-395-871-8. sheldon ross sixth edition. A first course of probability منابعOlmpiad.roshd.ir