آنالیز رگرسیون

آنالیز رگرسیون

اسلاید 1: Regression Analysis آنالیز رگرسیونارائه دهندگانآفرین نوایزدانآرمان تیموری

اسلاید 2: مقدمهپیش نیاز بسیاری از مباحث بعدیپرکاربردترین شکل آنالیز وابستگی هاروابط بین مجموعه ای از متغیرهای مستقل و یک متغیر وابستهبرای پاسخ بهتوصیفاستنباطپیش بینی

اسلاید 3: مثال قد و وزنرابطه رگرسیون کامل و دقیق نیستمتغیرهای غیر قابل شناسایییا غیر قابل اندازه گیریمثال قد و وزن 20 زن2 زن با قد یکسان،وزن یکسان ندارند یعنی:قد تنها فاکتور تأثیرگذار رویوزن نیست

اسلاید 4: مثال قد و وزناگر هیچ اطلاعی از قد نداشته باشیم میانگین وزنهارنج تغییرات وزنها: 93 تا 155یعنی خطای حدود 30 واحد

اسلاید 5: مثال قد و وزنبا داشتن کمی اطلاعات در مورد قد میانه قدها2 دسته کمتر از میانه: 93 تا 134 بیشتر از میانه: 117 تا 155یعنی خطای 20 واحدبازه کوچکتر قد باعث بهبود تخمینمی شود. اما بازه بسیار کوچک باعثمی شود که تخمین قابل تعمیم نباشد.

اسلاید 6: مثال قد و وزنرگرسیون ساده (یک متغیر مستقل و یک متغیر وابسته)انتخاب ضرایب b0 و b1 برای پیش بینی واقعی ترو تخمین بهتر وزن143/8-=b0 و 4/09=b1 برای یک قد خاصمقدار خطا 10 واحد است

اسلاید 7: مفاهیمهدف از انجام رگرسیون:تعیین خطی با دقیقترین مقدار برازش وکمترین مقدار خطاتعیین دقت:به کمک واریانس : به کمک تابع خطی برازش شده:

اسلاید 8: مفاهیماختلاف بین عدم اطمینان با استفاده از میانگین و مقادیر برازش شده = عدم اطمینان کاهش یافته توسط مدل رگرسیون

اسلاید 9: مفاهیمنسبت اختلاف عدم اطمینان ها به عدم اطمینان واقعی بانشان داده می شود.برای مثال قد و وزن یعنی وابستگی بین مقادیر برازش شده و مقادیر واقعی 0/87 است.با استفاده از اطلاعات قد، 75% از تغییرات وزن را می توان توصیف کرد.

اسلاید 10: مثال کارتهای اعتباری3 متغیر مستقل (تعداد اعضای خانواده، درآمد، تعداد اتومبیلها)شماره خانوادهتعداد اعضادرآمد خانوادهتعداد اتومبیلهاتعداد کارتهای اعتباری1214142216263414264417175518386521277617188625210

اسلاید 11: مثال کارتهای اعتباریاگر هیچ اطلاعی از متغیرها نداشته باشیممیانگین تعداد کارتها = 7 مجموع مربعات خطا =22 واحدرگرسیون ساده (به کمک متغیر تعداد اعضای خانواده)این متغیر بیشترین ضریب همبستگی را داردمدل رگرسیون به کمک کمترین مجموع مربعات خطا، برابر 0/97 و 2/87 است

اسلاید 12: یعنی به ازای هر عضو اضافی در خانواده میانگین موجودی کارت اعتباری خانواده 0/97 افزایش دارد.مجموع مربعات خطا = 5/5در این حالت: رگرسیون چندگانه (به کمک تعداد اعضا و درآمد خانواده)مدل رگرسیونبا محاسبه ضرایب مدل مقدار خطا = 3/04در این حالت: با اضافه کردن متغیر سوم، داریم: که نسبت به 2 حالت قبل، افزایش کمی دیده می شود پس بهتر است از 2 متغیر استفاده شود.

اسلاید 13: مفاهیمحالت تعمیم یافته مدل رگرسیونکه عدم اطمینان عبارتست ازو شکل ماتریسی آن

اسلاید 14: مفاهیمفرضیات مدلماتریس X ثابت با مرتبه کامل است ها دارای توزیع یکسان و مستقل با میانگین صفر و واریانس هستند.دقیقترین مقدار برازش شده دارای بالاترین است.

اسلاید 15: مثال تخمین قیمت زمین لسلیتخمین قیمت زمینی به مساحت 246/8 جریب، هم سطح با دریااز زمینهای اطراف تعداد کمی فروخته شده بود و هیچکدام شبیه این زمین نبود.برای طراحی مدل رگرسیونتعیین فاکتورهای موثر بر قیمت زمین (مساحت، تاریخ فروش، ارتفاع از سطح دریا، موقعیت، دسترسی به فاضلاب)جمع آوری داده های مربوط به 31 زمین اطراف که در 10 سال فروخته شده بودند

اسلاید 16: مثال تخمین قیمت زمین لسلیتبدیل قیمتها به قیمت در واحد مساحترسم نمودار قیمت در برابر تعداد زمینهاچوله بودن یعنینقض بعضی از فرضیات مدلتبدیل قیمت به لگاریتم قیمت

اسلاید 17: مثال تخمین قیمت زمین لسلیتعیین متغیرهای موثر بر قیمت به کمک ماتریس همبستگی نمونهDISTANCEFLOODDATESEWERELEVATIONSIZECOUNTYPRICE1/000PRICE1/0000/044-COUNTY1/0000/339-0/220-SIZE1/0000/209-0/4750/433ELEVATION1/0000/359-0/0530/050-0/468-SEWER1/0000/151-0/057-0/349-0/370-0/620DATE1/0000/0150/113-0/373-0/1090/552-0/407-FLOOD1/0000/4230/0440/159-0/362-0/5570/742-0/066DISTANCE

اسلاید 18: مثال تخمین قیمت زمین لسلیاستفاده از نمودار پراکندگی داده ها برای ارزیابی متغیرهامیزان وابستگی هاشکل رابطه بین متغیرهاکه توسط ضریب همبستگی،قابل ارزیابی نیستند.

اسلاید 19: مثال تخمین قیمت زمین لسلیمدل رگرسیونجدول خطای استاندارد که از ماتریس خطای بدست آمده است.معنی دار شدن متغیرDistanceخطای استانداردضریبمتغیر0/09281/2266Intercept0/00730/0324ELEVATION0/00120/0081DATE0/08740/3383-FLOOD0/00720/0257DISTANCE78/1%R2

اسلاید 20: همبستگی مثبت بین elevation و log(price)همبستگی منفی بین flood و log(price)Distance با elevation همبستگی منفی دارد اما با flood همبستگی مثبت دارد.DISTANCEFLOODDATESEWERELEVATIONSIZECOUNTYPRICE1/000PRICE1/0000/044-COUNTY1/0000/339-0/220-SIZE1/0000/209-0/4750/433ELEVATION1/0000/359-0/0530/050-0/468-SEWER1/0000/151-0/057-0/349-0/370-0/620DATE1/0000/0150/113-0/373-0/1090/552-0/407-FLOOD1/0000/4230/0440/159-0/362-0/5570/742-0/066DISTANCE

اسلاید 21: از مزایای رگرسیون چند گانهبا بررسی همزمان متغیرها، به وابستگی های درونی پی می بریم.مفهوم ضریب رگرسیون Distance:با ثابت نگه داشتن اثرات flood و elevation، انتظار داریم که با یک مایل نزدیک شدن به منطقه مرتفع تر، log(price) به اندازه 0/0257 افزایش یابد که برابر برای هر جریب است.

اسلاید 22: مدل چقدر خوب برازش شده است؟ بالاتر یعنی برازش بهتر و دقت بیشتربرای مثال لسلی استاندارد دقیقی برای تعیین خوبی برازش وجود ندارد.برای مسائل اجتماعی، بین 0/1 و 0/5 است.برای سری های زمانی، بسیار بالا حدود 0/95 است.ضعف :با اضافه شدن یک متغیر مستقل جدید، همیشه افزایش می یابد.

اسلاید 23: مدل چقدر خوب برازش شده است؟هدف در ساخت مدل رگرسیون، انتخاب تعداد مناسب متغیر مستقل و افزایش دقت برازش است.استفاده از به جای ضعف را ندارد.برای مثال لسلی

اسلاید 24: آزمون معنی داری مدلتصادفی نبودن ضرایب مدل رگرسیونمعنی دار بودن همه متغیرهافرضی که برای ها در نظر می گیریمهمه ها مستقل و دارای توزیع نرمال با میانگین صفر و واریانس مشابه هستند.برای آزمون مدل، از نسبت خطای محاسبه شده استفاده می کنیم که دارای توزیع F است.

اسلاید 25: آزمون معنی داری مدلاستفاده از جدول آنالیز واریانس برای آزمون FF(4,26)=4.14 یعنی مدل رگرسیون در سطح 0/01 معنی دار است.pFMs=SS/dFdFSS0/00023/120/567342/2693Regression0/0245260/6380Error302/9072Total

اسلاید 26: آزمون جداگانه هر کدام از پارامترهابررسی مخالف صفر بودن هر کدام از پارامترهاآزمون tt(26)=2.78 یعنی همه ضرایب مدل، معنی دار هستند.pTخطای استانداردضریبمتغیر0/0004/430/00730/0324Elevation0/0006/900/00120/0081Date0/0013/87-0/08740/3383-Flood0/0013/580/00720/0257Distance

اسلاید 27: هم خطی چندگانهقابلیت رگرسیون: بررسی هم خطی چندگانه بین متغیرهاشناسایی از طریق جدول همبستگی ها یا از طریق رسم نمودار زوجی متغیرهای مستقلتغییر ناگهانی و قابل توجه خطای استاندارد، نشان دهنده وجود هم خطی چندگانه است.شاخص شرط (CI) : نسبت بزرگترین عضو عناصر قطری ماتریس X به کوچکترین آنها

اسلاید 28: هم خطی چندگانهCI بزرگتر یا مساوی 30 یعنی وجود هم خطی چندگانهبرای مثال لسلی =7/3 است یعنی عدم وجود هم خطی چندگانهراه حل هنگام مواجهه با هم خطی چندگانه زیادجمع آوری داده های بیشترخارج کردن متغیرها از مدلروش آنالیز اجزای اصلیروش آنالیز فاکتور

اسلاید 29: نقض فروض جملۀ خطاواریانس ناهمسانی: به معنای برابر نبودن واریانس جملات خطا است که اکثراً بخاطر وابستگی جملۀ خطا به متغیر وابسته یا یکی از متغیرهای مستقل رخ میدهداثرات: ناکارا کردن تخمین زنندۀ حداقل مربعات ضرایب رگرسیون و بزرگنمایی در آزمون معنی داری ضرایب رگرسیون و نهایتاً ضعف در پیش بینی روش تشخیص: به کمک رسم نمودار پسماندها و آزمون های مختلفروش درمان: تغییر شکل متغیرها و استفاده از روش حداقل مربعات وزن­دار (WLS)

اسلاید 30: نقض فروض جملۀ خطاخود همبستگی: به معنای وجود همبستگی بین جملات خطا است اين الگو زماني رخ مي‌دهد که شرايط مدل تغيير کنند ولي در مدل در نظر گرفته نشونداثرات آن، روش تشخیص و روش درمان آن مشابه واریانس ناهمسانی است

اسلاید 31: نقض فروض جملۀ خطانرمال نبودن توزیع جملات خطا: که اکثراً بخاطر نرمال نبودن متغیر وابسته یا نرمال نبودن یک یا چند متغیر مستقل روی میدهداثرات: ناکارا کردن تخمین زنندۀ حداقل مربعات ضرایب رگرسیون و خطا در آزمون معنی داری ضرایب رگرسیون و کل رگرسیون و نهایتاً ضعف در پیش بینیروش تشخیص: به کمک رسم نمودار پسماندها و مقلیسه با نمودار توزیع نرمال و آزمون های مختلفروش درمان: تغییر شکل متغیرها

اسلاید 32:

اسلاید 33: پسماندهای مثال لسلی

اسلاید 34: شناسایی مشاهدات غیر معمولمشاهدات پرت: نقاطی هستند که از خط رگرسیون فاصلۀ زیادی دارندنقاط اهرمی: مشاهداتي هستند که با ساير مشاهدات براساس مقادير متغيرهاي مستقلشان اختلاف دارند. اثر آنها معمولاً در تخمين ضرايب يک يا چند متغير مستقل قابل توجه است.مشاهدات مؤثر: وسيع‌ترين گروهند که شامل تمام مشاهداتي مي‌شوند که اثري غير متناسب روي نتايج رگرسيون دارند. مشاهدات مؤثر به‌صورت بالقوه شامل Outliers و نقاط اهرمي نيز مي‌شوند ولي مي‌توانند نقاط ديگري را نيز دربر بگيرند. همچنين، همة Outliers و نقاط اهرمي نيز لزوماً جزو مشاهدات مؤثر نيستند.

اسلاید 35:

اسلاید 36: علل رخ دادن مشاهدات غیر معمولخطا در مشاهدات يا ورود داده‌هايک مشاهدة موجه اما استثنايي که با موقعيتي فوق‌العاده قابل تشريح است.يک مشاهدة استثنايي بدون هيچ‌گونه توجيهيک مشاهدة معمولي در مشخصه‌هاي تکي آن اما استثنايي در ترکيب مشخصاتش 

اسلاید 37: مشاهدات مؤثر در مثال لسلی

اسلاید 38: اعتبارسنجی مدلنمونه هاي اضافي يا تقسيم شدهاعتبار سنجي جک­نايفمقايسۀ مدل‌هاي رگرسيون بيش برازش پيش‌بيني توسط مدل

اسلاید 39: با تشکر از توجه شما