رگسيون لجستيك

صفحه 1:
دا ۷۱۸۷۷۸530۱ ر 

صفحه 2:
در رگرسیون لوجستیک متغیر پاسخ یک متفیر کیفی چند مقداری است. برخلاف رگرسیون قبل که در آن متفیر پاسخ یک متضیر کمی پیوسته و دارای توزیع نرمال بود. در رگرسیون لوجستیک متفیر پاسخ یک متفیر کیفی دو مقداری و یا چند مقداری است که اكر متغي و در غیر این صتورت آن را رگرستیون لجستیک چنتد مقداری می پاسخ دو مقداری باشد آن را رگرسیون لجستیک دودوبی گوئیم. در رگرسیون معمولی هدف از پرازش مدل رگرسیون پیش بینی مقدار متغیر وابسته بتا معلتوم بتودن مقادیر متفیرهای مسستقل است. اما در رگرسیون لجستیک هدف پیش بینی احتمال عضویت یک نمونه در یکی از دو گروه ویا چند گروه مورد نظر است. مثلا از رگرسیون لجستیک دودویی می توان در پیش بینی ورشکسته شدن یا ورشکسته نشدن یک شرکت با معلوم بودن نسبت های مالی آن شرکت استفاده کرد. همچنین در پیش بینی احتمال موفقیت یا عدم موفقیت یک داوطلب در یک آزمون با معلوم بودن ویژگی هایی ماننتد جنستیت. معدل و ۰۰. از رگرسیون لجستیک می توان استفاده کرد. همچنین در پیش بینی احتمال ابتلا به سرطان یا عدم ابتلا به آن با معلوم بودن برخی ویژگی هتا ماننتد ستن. جنسیت, سابقه وس امیلی: اس تسمال دخانیات و ...از رگرس بون لجس. تیک میخسوان اسستفاده کرد Materials Videos Activities دا ۷۱۱۷۷۸530۱ ر 

صفحه 3:
روش انجام تحلیل رگرسیون لجستیک با رگرسیون معمولی متفاوت است. در رگرسیون معمولی برای برآورد پارامترهتا از روش حداقل کردن مجذور خطاها ‎(QLD) (hq,‏ استفاده می شسود. حال آنکه در رگرسیون لجستیک برای برآورد پارامترها از روش حداکثر درست نمایی (را() استفاده می شود. دررگرسیون معمولی برای بررسی معنی دار بودن مدل رگرسیون از آزمون ۴) یا همان 960606269) و برای بررسی معنی دار بودن وجود هر کدام از ضرائب در مدل از آزمون (عع) ۳" استفاده می شود. اما در رگرسیون لجستیک برای بررسی معنی دار بودن مدل رگرسیون از آزمون کی دو (کای اسکور) و برای بررستی معنی دار بودن وجود هر کدام از ضرائب از آزمون والد "مه استفاده می شود. در رگرسیون معمولی فرض بر اين بود كه متغير پاسخ دارای توزیع نرمال با واربانس ثابت است اما در این رگرسیون فرض نرمال بودن متغیر پاسخ و نیز فرض ثابت بودن واریانس مطرح نیست. اما فرض عدم وجود هم خطی در بین متغیر های پیشگو باید برقرار باشد. Lesson 1.1 Lesson 1.2 Lesson 1.3 Materials Videos ‏عنام‎ دا ۷۱۵۷۷۸53۱ ر 

صفحه 4:
در رگرسیون لجستیک برای معتبر بودن تفسیر نتایج حجم نمونه باید بزرگتر از حجم نمونه در رگرسیون خطی باشد. مطابق قواعد تجربی توصیه شده است که در این رگرسیون حجم نمونه حداقل باید ۲۰ برابر پارامترهای برآورد شده باشد. مثلا اگر در این رگرسیون تعداد سه متغیر پیشگو وجود داشته باشد چون تعداد چهار پارامتر بسرآورد می شود ( ضرائب هرک‌دام از متفیرهای پیشگو و نیز ضریب ثشابت در معادله لسذا حجم نمونه بای اقل ۱۲۰ با Logistic 0 Lesson 1.1 Lesson Materials Videos Activities دا ۷۱۸۷۷۸530۱ ر 

صفحه 5:
فرض كنيد متغير ياسخ »لا يك متفیر دو مقداری باشد که مقادیر آن را با صفر (بیانگر شکست) و یک (بیانگر موف شان مب ‎cree‏ ‏فرض کنیم احتمال موفقیت 0 و احتمال شکست 1-0 باشد یعنی: 2-7( (<(0</)) نسبت ۲ به 2-۱ را بخت موفقیت می نامند. دا ۷۱۱۷۷۸530۱ ر Lesson 1.1 Lesson 1.2 Lesson 1.3 Materials Videos Activities 

صفحه 6:
به طورکلی احتمال رخ دادن یک پیشامد به احتمال عدم رخ دادن آن رابخت آن شاف می ام تن من ایر 0 احتمال رخ دادن يك ييشامد ‎٠.”‏ باشدء بختورج م خ دادن أن ييشامد خواهد بود. اكر لكاريتم بخت يك ييشامد مثبت باشد به معنى آن است كه احتمال وقوع آن ييشامد از احتمال عدم وقوع أن ييشامد بيشتر است. حال هر جقدر اين عدد بزركتر باشد شانس رخ دادن أن ييشامد بيشتر است و به طور مشابه اگر لگاریتم بخت یک پیشامد منفی باشد به آن معتی است که احتمال وقوع آن بیشامد از احتمال عدم وقوع آن کمتر است و هرچقدر این عدد کوچکتر باشد شانس رخ دادن آن پیشامد کمتر خواهد بود. دا ۷۱۸۷۷۸530۱ ر 

صفحه 7:
فرض کنید متغیر پاسخ که آن را با ۷ نشان می دهیم مقادیر یک و صفر را با احتمال های به ترتیب 0 و۳۱ اختیار کرده و ننها یک مت بر پیش کوداه ته باد عم که آن را با نش ان می دهيم. در این رگرسیون به دنبال مدل سازی احتمال موفقیت هستیم. مدلی که برای احتمال موفقیت در نظر می گیریم به صورت زیر است: ۳ ۲-۲۵ 2 1( 2 7 که در آن ‎Od‏ 20)بارامترهای ثایتی هستند. اين تابع را تابع لحستیک می نامیم. نمودار این تابع به شکل 5 و به صورت زیر است دا ۷۱۸۷۷۸530۱ ر 

صفحه 8:
همین طور که از این شکل پیداست احتمال 0 ابتدا با فزایش 6 به کندی افزایش یافته سپس این افزایش شتاب می گیرد و سرانجام پایدار می شود ولی بیشتر از یک نمی شود. البته مدل های دیگری برای تصیین رابطه بین 0 و ۴ در نظر می گيرند. مثلاً یکی دیگر از اين مدل ها استفاده از توزیع تجمعی نرمال است که چنین الگویی را الگوی پرابیت ]0۲۵۱۵1 می نامند. استفاده ازالگوی لجستیک ساده تر و بهتر از اگوی پرابیت است. تابع لجستیک نسبت به پارامترهای و غیر خطی است. اما همانطوری که گفتیم به جای استفاده از احتمال وقوع یک پیشامد از لگاریتم بخت آن پیشامد استفاده می شود. بدین ترتیب داریم: رم + وم - كما دا ۷۱۵۷۷۸53۱ ر 

صفحه 9:
تبدیل فوق را تبدیل لوجیت نیز می نامند. با انجام چنین تبدیلی و استفاده از لگاریتم بخت رابطه فسوق به پارامترهای و خطی می شود. بنابراین یک مدل رگرسیون لوجستیک با یک متغیر پیشگو, مدلی به صورت رو به رو است: 7 < 60+ ۲ به طور مشابه در یک رگرسیون چندگانه لجستیک متفیر پاسخ |لگاریتم بخت موفقیت بوده و مقدار آن در فاصله ©- تامه + يك متغير دو مقداری است که مقادیر آن یک(بیانگر مسوفقیت) تعییر مي کند. و صفر (بیانگر شکست) با احتمال های به ترتیب 0 و 0-4 هستند و نیز تعداد 1 متفیر پیشگو داریم که اين متغیرها را بتا ۱]....21 نشان می دهیم. مدلی که احتمال موفقیت را به متفیرهای پیشگو مرتبط می سازد توسط یک تابع لجستیک ‎ABR‏ ای ‎FBR‏ رو ب (1 2 20م ‎Materials Videos Activities ‎ ‎ ‏دا ۷۱۸۷۷۸530۱ ر 

صفحه 10:
كه در آن 61.80 ....: >۵] پارامترهای ثابت هستند. با انجام تبدیل لوجیت(استفاده از لگاربتم بخت) تابع فوق به صورت زیر تبدیل می شود. جرانر0 +6 - ریما - 2 تابع فوق یک تابع خطی از پارامترهای ۰.۰.۰1۰0 ۵ است. در رگرسیون لجستیک برای برآورد پارامترها ازروش حداکثردرست نمایی ۱6۵۱۱0000 ۷۱۵۱۱۳۱۱۷۲۱ ب برآورد پارامترها استفاده می شود دا ۷۱۵۷۷۸53۱ ر ‎Videos‏ وا ‎ 

صفحه 11:
احتمال تعلق به دسته ها احتمال تعلق به هر دسته را میتوان بصورت تابع لجستیک در نظر گرفت: 1 PY =1)X =< X1,..Xn >) = ——__+ ١ ۱ cena) 1+ exp(wo +O) wiX;) ضرایب سم با استفاده از اصحه الب تعیین میشود Logistic function S(%w) / i - Input vector 7 ۶), ۷۵ g(2=W+e*) دا ۷۱۱۷۷۸530۱ ر 

صفحه 12:
احتمال تعلق به دسته ها برای مقادیر پیوسته رابطه بصورت زير است ‎P(y = 1)P(x|Y =1)‏ PO"= UX) = Be Sa) POY = 1) + PO = 0) PCY =) ~ t+exp¢ (Int=*) +15; ine) >= (# hx + HA a 5-8 14 ع (1|2 << ملعم ‎IX) 1+ exp(wo + Sy wiXi)‏ ؛ Lesson 1.1 Lesson 1.2 Lesson 1.3 Materials Videos Activities دا ۷۱۸۷۷۸530۱ ر 

صفحه 13:
يك مرز خطى مدل بين دو دسته تعيين ميكند. : براى مرز دو دسته داريم (امع - دارع :از اين رو خواهيم داشت مع دمع * £08) = 80(%) (8) ‏لیم‎ ‎820-168 0 &(x) g(w'x) 5 ع دوع exp—(w'x) 8 Ty ‏وه + وماك‎ x) 1+ exp—(w"x) = log exp—(w'x) = w'x=0 دا ۷۱۱۷۷۸530۱ ر 

صفحه 14:
برای حالت چند کلاسه Now y €{y, ... yp} : learn 1۳ sets of weights 1 vit exp(wjo + DLy wii Xi) fork<R PV =4IX)= 1 for k=R P(Y =yn|X) = - ۱ ۱ 1+ ret exp(wjo + Dy wyiXi) دا ۷۱۱۷۷۸530۱ ر 

صفحه 15:
بدست آوردن وزن ها فرض میشود که تعداد ما داده آموزشی داشته باشیم ۱ براى بدست آوردن وزن ها ميتوان ازع مم عدص ةوج لعموااصاا استفاده كرد: Warne = arg max P(< ‏الا باهز‎ < .. > KEYES |W) romana < ‏زونه‎ [ [> 261,1۷ < |۲۷( por ‏اد‎ ( انرس + وومت ‎T+‏ :بای رابطه فوق از درست نماتی شرطی استفاده میشود Data ‏او‎ ‎1 1 دا ۷۱۸۷۷۸530۱ ر 

صفحه 16:
This is the title. میتوان برای محاسبه مقدار فوق از ۷ عبارت فوق استفاده نمود UW) = Inq] POX), Ww) = Yin Pox! w) 1 1 ‏6د |0 ع )در‎ ۷ ۳0۲-۱۲ ‏و‎ ‏با فرض اینکه ۷ فقط یکی از دو مقدار ۰یا ارا دارد‎ = Vyiinepat = 3x.wy+a-y) ine! =ox,w) ee 3 x ‏خواهیم داشت:‎ (۲۲ ,0۱2۲ > ام وا 3 1 دا ۷۱۱۷۷۸530۱ ر 

صفحه 17:
هیچ راه حل بسته ای برای ماکزیمم کردن درست نمائی شرطی وجود ندارد. uw) = ‏(۳0۵1۵۲]]ه۱‎ ‎1 < ۷) ۳ ۱) + ‏لك وس)وه‎ 3 w;X!)) 7 7 7 استفاده از تکنیک نزول گرادیان یکی از راه حل های موجود است: Gradient ab aE OE 3 [Sear 2۳ a 1 ‘Training rule: Aut = -nV Elid] ie, 13 پیج ۷ = انش دا ۷۱۸۷۷۸53۱ ر 

صفحه 18:
تغییرات وزن تا زمانی ادامه می یابد که مقدا, آ:, خبلی ناچیز شود تعبیراب ورن ب رمنی می باب لواحت احير سو ,دمص = ‎Ww)‏ ‏1 = Lvl + Sx! — Ina + expong + ex!) 2/0۷ i Be re bas 2 ‏13د زب و رت‎ ۳ wy — wit NX! - ۵0۲۷ ۱۱۷ ,۱۷(( - ‏دق‎ ‎1 5 ۳ ۳۹۳۹ é 5 ۹ ~ ‏توجه شود که عبارت داخل پرانتز به سادگی اختلاف بین مقدار هدف و مقدار تابع احتمال ان است‎ مقادیر اولیه وزن ها صفر در نظر گرفته میشود و مقادیر نهاتی از تکرار عبارت زیر بدست مي آید For all i, repeat w; —w; +9 Xv! — Py! = 1X',W)) 7 دا ۷۱۱۷۷۸530۱ ر 

صفحه 19:
مشکلات استفاده از با به خاطر ماهیت هت بودن تابع (1 رابطه فوق حتما ماکزیمم اعاطلح را پیدا خواهد کرد. استفاده از ‎(ge DL‏ تواند برای داده های جدا پذیر خطی به0۹! صرح شدید منجر شود. دليل اين امر اين است كه راه حل () وقتی اتفاق می افتد که8.() < و یا 200 /مشده و منجر به بزرگ شدن وزن ها ميشود. این امر حتی وقتی که تعداد داده ها نسبت ‎ay‏ تعداد پارامترها زیاد باشد روی خواهد داد. Materials Videos Activities دا ۷۱۸۷۷۸530۱ ر 

صفحه 20:
استفاده از ‎DO‏ با افزودن ترم جریمه میتوان مطابق حالت قبل عمل یافتن وزن ها را با مشتق گیری و روش صعود گرادیان انجام داد: ۱ ار اضق ابا _ ‎al(W)‏ ‎fom‏ wwodPed graded ‏تعيص مس‎ wt EX! Ply! = 1x", W)) — mw; I دا ۷۱۸۷۷۸530۱ ر 

صفحه 21:
دو روش 00102 و “07090 هر يك از روابط زير براى بيدا كردن وزن ها استفاده ميكنند + Maximum conditional likelihood estimate W = argmax in Teo'x! wy 1 lw; — wi tnd XI Pot = 1x" w)) be ‏لس‎ + Maximum a posteriori estimate with prior W~N(0,o1) W <argmax In[P(W) Tem |x.) 1 ((13 ,|1 ع ا)ظ - ۲ روس رستحرت- رس — ربا 9 دا ۷۱۱۷۷۸530۱ ر 

صفحه 22:
برای حالت غیر بولین که ۷۲ هر مقدار ۳۳ رامیتواند داشته باشد داریم: 0 1+ ۵۵+ When Y = yx, itis 1 ل لسلس ل يس ح (يزاءن«ا - ۲ ‎wks)‏ ۲ +ورد)مه 1+2 ۱۳ وزن ها بصورت زیر در می آید: ترا (۷, ۲رد 8)۳- (ردع )۵) ۶( + رات زره 1 دا ۷۱۸۷۷۸53۱ ر 

صفحه 23:
در اغلب مسایل عملی بدلیل پیچیدگی زیاد و یا وجود عدم قطعیت نمی توان مدل ریاضی مشخصی را بدست آورد. در چنین شرایطی می توان از مدل های احتمالاتی استفاده نمود که در آن ها دانش اولیه بصورت تابع الى احتمال لش ها مش ده داده مق دار احتمال ثانه. محاسه میش وود دا ۷۱۸۷۷۸53۱ ر 

صفحه 24:
در نگرش بیزین احتمال شرطی 7/0 و احتمال اولیه ( 7061 از روی داده های آموزشی یادگرفته شده و برای ساختن احتمال ثانویه ( »«|01)ج بكار ميروند. plx{Cr)p(C1) — P(XICi)p(Cr) + PEX|Ca)pCa) a= In PCP) 1 P(x|C2)p(C2) = ‏ع‎ 7)0( 1 + exp(—a) برای ورودی های پیوسته تابع چگالی احتمال شرطی کلاسی بصورت گوسی فرض میشود ۳ 1 1 1 1 ‎=n)‏ ال ‎mon {$s‏ - ةاعم دا ۷۱۸۷۷۸530۱ ر 

صفحه 25:
برای حالت دو کلاسه داریم: ‎o(w'x + wp)‏ - امام ‎w D""(y - by) OW) C1) ‏و ‎Wy aE + ‏یل زد‎ + ‏در اين رابطه با فرض اینکه تمامی کلاس ها ماتریس کوواریانس یکسانی دارند جملات مرتبه ۲ از ‏« حذف شده و رابطه بصورت خطی در می آید ‎ ‏22 ‏از هو واه ‎Lesson 1.1 Lesson 1.2 Lesson 1.3 Materials Videos ‏عنام‎ ‏دا ۷۱۵۷۷۸53۱ ر 

Lesson 1.1 Lesson 1.2 Lesson 1.3 Materials Videos Activities رگسيون لجستيك در رگرسيون لوجستيك متغير پاسخ يك متغير كيفي چند مقداري است .برخالف رگرسيون قبل كه در آن متغير پاسخ يك متغ ير كمي پيوسته و داراي توزيع نرمال بود .در رگرسيون لوجستيك متغير پاسخ يك متغير كيفي دو مقداري و يا چند مقداري است كه اگر متغ ير پاسخ دو مقداري باشد آن را رگرسيون لجستيك دودويي گفته و در غير اين ص تورت آن را رگرس تيون لجس تيك چنت د مق داري مي گوئيم .در رگرسيون معمولي هدف از پرازش مدل رگرسيون پيش بيني مقدار متغير وابسته بتا معلتوم بتودن مقادير متغيرهاي مس تقل است .اما در رگرسيون لجستيك هدف پيش بيني احتمال عضويت يك نمونه در يكي از دو گروه ويا چند گروه مورد نظر است .مثأل از رگرسيون لجستيك دودويي مي توان در پيش بيني ورشكسته شدن يا ورشكسته نشدن يك شركت با معلوم بودن نسبت هاي مالي آن شركت استفاده كرد .همچنين در پيش بيني احتمال موفقيت يا عدم موفقيت يك داوطلب در يك آزمون با معلوم بودن ويژگي هايي ماننتد جنستيت ،معدل و . . .از رگرسيون لجستيك مي توان استفاده كرد. همچنين در پيش بيني احتمال ابتال به سرطان يا عدم ابتال به آن با معلوم بودن برخي ويژگي هتا ماننتد ستن ،جنس<<يت، سابقه ف<<<<<<<اميلي ،اس<<<<<<<تعمال دخانيات و . . .از رگرس<<<<<<<يون لجس<<<<<<<تيك ميت<<<<<<<وان اس<<<<<<<تفاده كرد. ‏Activities ‏Videos ‏Materials ‏Lesson 1.3 ‏Lesson 1.2 ‏Lesson 1.1 تفاوت انجام تحليل رگسيون لجستيك با معمولي روش انجام تحليل رگرسيون لجستيك با رگرسيون معمولي متفاوت است .در رگرسيون معمولي ب<<راي ب<رآورد پارامترهتا از روش حداقل كردن مجذور خطاها روش ( )OLSاستفاده مي ش<<ود .حال آنك<<ه در رگرس<<يون لجستيك براي برآورد پارامترها از روش حداكثر درست نمايي ( )MLاستفاده مي شود .دررگرس<<يون معم<<ولي براي بررسي معني دار بودن مدل رگرسيون از آزمون Fيا همان ANOVAو براي بررسي معني دار بودن وجود هر كدام از ضرائب در مدل از آزمون ) T (t_valueاستفاده مي شود .اما در رگرسيون لجس<<تيك ب<<راي بررسي معني دار بودن مدل رگرسيون از آزمون كي دو (كاي اسكور) و براي بررستي معني دار بودن وجود هر كدام از ضرائب از آزمون والد waldاستفاده مي شود. در رگرسيون معمولي فرض بر اين بود كه متغير پاسخ داراي توزيع نرمال با واريانس ثابت است اما در اين رگرسيون فرض نرمال بودن متغير پاسخ و نيز فرض ثابت بودن واريانس مطرح نيست .اما فرض عدم وجود هم خطي در بين متغير هاي پيشگو بايد برقرار باشد. ‏Activities ‏Videos ‏Materials ‏Lesson 1.3 ‏Lesson 1.2 ‏Lesson 1.1 در رگرسيون لجستيك براي معتبر بودن تفسير نتايج حجم نمونه بايد بزرگ<<تر از حجم نمون<<ه در رگرس<<يون خطي باش<<د. مطابق قواعد تجربي توصيه شده است كه در اين رگرسيون حجم نمونه حداقل بايد 30برابر پارامترهاي برآورد شده باشد. مثال اگر در اين رگرسيون تعداد سه متغير پيشگو وجود داشته باشد چون تعداد چهار پارامتر ب<<رآورد مي ش<<ود ( ضرائب هرك<<<دام از متغيرهاي پيش<<<گو و ن<<<يز ضريب ث<<<ابت در معادل<<<ه ل<<<ذا حجم نمون<<<ه باي<<<د ح<<<داقل 120باش<<<د. . ‏Activities ‏Videos ‏Materials ‏Lesson 1.3 ‏Lesson 1.2 ‏Lesson 1.1 فرض كنيد متغير پاسخ y، ،يك متغير دو مقداري باشد كه مقادير آن را با صفر (بيانگر شكست) و يك (بيانگر موفقيت) نشان مي دهيم. فرض كنيم احتمال موفقيت pو احتمال شكست q=1-pباشد يعني: ‏P(y=0)=1-p؛ P(y=1)=pنسبت pبه p-1را بخت موفقيت مي نامند. ‏Activities ‏Videos ‏Materials ‏Lesson 1.3 ‏Lesson 1.2 ‏Lesson 1.1 بخت به طوركلي احتمال رخ دادن يك پيشامد به احتمال عدم رخ دادن آن را بخت آن پيش<<امد مي نامن<<د .مثأل اگر احتمال رخ دادن يك يپشامد 0.2باشد ،بخت 0.2 0.2-1 رخ دادن آن پيشامد خواهد بود. اگر لگاريتم بخت يك پيشامد مثبت باشد به معني آن است كه احتمال وقوع آن پيشامد از احتمال ع<<دم وق<<وع آن پيشامد بيشتر است .حال هر چقدر اين عدد بزرگتر باشد شانس رخ دادن آن پيشامد بيشتر است و به ط<<ور مشابه اگر لگاريتم بخت يك پيشامد منفي باشد به آن معني است كه احتمال وقوع آن پيشامد از احتمال ع<<دم وقوع آن كم<<تر اس<<ت و هرچق<<در اين ع<<دد كوچك<<تر باش<<د ش<<انس رخ دادن آن پيش<<امد كم<<تر خواه<<د ب<<ود. ‏Activities ‏Videos ‏Materials ‏Lesson 1.3 ‏Lesson 1.2 ‏Lesson 1.1 فرض كنيد متغير پاسخ كه آن را با Yنشان مي دهيم مقادير يك و صفر را با احتمال هاي به ترتيب p و p-1اختيار كرده و تنها يك متغ<<ير پيش<<گو داش<<ته باش<<يم ك<<ه آن را با Xنش<<ان مي دهيم .در اين رگرسيون به دنبال مدل سازي احتمال موفقيت هستيم. مدلي كه براي احتمال موفقيت در نظر مي گيريم به صورت زير است: كه در آن B0 ,B1پارامترهاي ثابتي هستند .اين تابع را تابع لجستيك مي ناميم .نمودار اين تابع به شكل S و به صورت زير است ‏Activities ‏Videos ‏Materials ‏Lesson 1.3 ‏Lesson 1.2 ‏Lesson 1.1 همين طور كه از اين شكل پيداست احتمال pابتدا با افزايش xبه كندي افزايش يافت ه سپس اين افزايش شتاب مي گيرد و سرانجام پايدار مي شود ولي بيشتر از يك نمي شود .البته مدل هاي ديگري ب راي تع يين رابطه بين pو xدر نظر مي گيرند .مثأل يكي ديگر از اين مدل ها استفاده از توزيع تجمعي نرمال اس ت ك ه چنين الگويي را الگوي پرابيت probitمي نامند .استفاده ازالگوي لجس تيك ساده تر و به تر از الگ وي پرابيت است. تابع لجستيك نسبت به پارامترهاي و غير خطي است .اما همانطوري كه گفتيم به جاي استفاده از احتمال وقوع يك پيشامد از لگاريتم بخت آن پيشامد استفاده مي شود .بدين ترتيب داريم: ‏Activities ‏Videos ‏Materials ‏Lesson 1.3 ‏Lesson 1.2 ‏Lesson 1.1 تبديل فوق را تبديل لوجيت نيز مي نامند .با انجام چنين تبديلي و استفاده از لگاريتم بخت رابطه ف وق نسبت به پارامترهاي و خطي مي شود .بنابراين يك مدل رگرسيون لوجستيك با يك متغير پيشگو ،مدلي به ص ورت رو به رو است: به طور مشابه در يك رگرسيون چندگانه لجستيك متغير پاسخ لگاريتم بخت موفقيت بوده و مقدار آن در فاصله ∞ -تا∞ + يك متغير دو مقداري است كه مقادير آن يك(بيانگر م وفقيت) تغيير مي كند. و صفر (بيانگر شكست) با احتمال هاي ب ه ترتيب pو p-1 هستند و نيز تعداد kمتغير پيشگو داريم كه اين متغيرها را بت ا xk،...،x2،x1نشان مي دهيم .مدلي كه احتمال موفقيت را به متغيرهاي پيشگو مرتبط مي سازد توسط يك تابع لجس تيك وب هش كل زي ر نش ‏Activities ان مي دهيم: ‏Videos ‏Materials ‏Lesson 1.3 ‏Lesson 1.2 ‏Lesson 1.1 كه در آن βk ، . . . ، β1، β0پارامترهاي ثابت هستند .با انجام تبديل لوجيت(استفاده از لگاريتم بخت) تابع فوق به صورت زير تبديل مي شود. تابع فوق يك تابع خطي از پارامترهاي βk ، . . . ، β1، β0است. در رگرسيون لجستيك براي برآورد پارامترها ازروش حداكثردرست نمايي Maximum Likelihoodبراي برآورد پارامترها استفاده مي شود ‏Activities ‏Videos ‏Materials ‏Lesson 1.3 ‏Lesson 1.2 ‏Lesson 1.1 احتمال تعلق به دسته ها احتمال تعلق به هر دسته را میتوان بصورت تابع لجستیک در نظر گرفت: ضرایب wبا استفاده از gradient ascentتعیین میشود ‏Activities ‏Videos ‏Materials ‏Lesson 1.3 ‏Lesson 1.2 ‏Lesson 1.1 احتمال تعلق به دسته ها :برای مقادیر پیوسته رابطه بصورت زیر است ‏Activities ‏Videos ‏Materials ‏Lesson 1.3 ‏Lesson 1.2 ‏Lesson 1.1 Discriminant functions یک مرز خطی مدل بین دو دسته تعیین میکند. :برای مرز دو دسته داریم :از این رو خواهیم داشت ‏Activities ‏Videos ‏Materials ‏Lesson 1.3 ‏Lesson 1.2 ‏Lesson 1.1 برای حالت چند کالسه Lesson 1.1 Lesson 1.2 Lesson 1.3 Materials Videos Activities بدست آوردن وزن ها فرض میشود که تعداد Lداده آموزشی داشته باشیم برای بدست آوردن وزن ها میتوان از likelihood estimate maximumاستفاده کرد: :بجای رابطه فوق از درست نمائی شرطی استفاده میشود ‏Activities ‏Videos ‏Materials ‏Lesson 1.3 ‏Lesson 1.2 ‏Lesson 1.1 This is the title. میتوان برای محاسبه مقدار فوق از logعبارت فوق استفاده نمود با فرض اینکه Yفقط یکی از دو مقدار 0یا 1را دارد خواهیم داشت: ‏Activities ‏Videos ‏Materials ‏Lesson 1.3 ‏Lesson 1.2 ‏Lesson 1.1 هیچ راه حل بسته ای برای ماکزیمم کردن درست نمائی شرطی وجود ندارد. استفاده از تکنیک نزول گرادیان یکی از راه حل های موجود است: ‏Activities ‏Videos ‏Materials ‏Lesson 1.3 ‏Lesson 1.2 ‏Lesson 1.1 تغییرات وزن تا زمانی ادامه می یابد که مقدار آن خیلی ناچیز شود ‏modified gradient descent rule: توجه شود که عبارت داخل پرانتز به سادگی اختالف بین مقدار هدف و مقدار تابع احتمال آن است مقادیر اولیه وزن ها صفر در نظر گرفته میشود و مقادیر نهائی از تکرار عبارت زیر بدست می آید ‏Activities ‏Videos ‏Materials ‏Lesson 1.3 ‏Lesson 1.2 ‏Lesson 1.1 مشکالت استفاده از ML به خاطر ماهیت concaveبودن تابع lWرابطه فوق حتما ماکزیمم globalرا پیدا خواهد کرد. استفاده از MLمی تواند برای داده های جدا پذیر خطی به over fittingشدید منجر شود. دلیل این امر این است که راه حل MLوقتی اتفاق می افتد کهσ = 0.5و یا wTφ =0شده و منجر به بزرگ شدن وزن ها میشود. این امر حتی وقتی که تعداد داده ها نسبت به تعداد پارامترها زیاد باشد روی خواهد داد. ‏Activities ‏Videos ‏Materials ‏Lesson 1.3 ‏Lesson 1.2 ‏Lesson 1.1 استفاده از MAP ● با افزودن ترم جریمه میتوان مطابق حالت قبل عمل یافتن وزن ها را با مشتق گیری و روش صعود گرادیان انجام داد: ‏modified gradient descent rule: ‏Activities ‏Videos ‏Materials ‏Lesson 1.3 ‏Lesson 1.2 ‏Lesson 1.1 دو روش MlEو MAPهر یک از روابط زیر برای پیدا کردن وزن ها استفاده میکنن<<د ‏Activities ‏Videos ‏Materials ‏Lesson 1.3 ‏Lesson 1.2 ‏Lesson 1.1 را میتواند داشته باشد داریم: برای حالت غیر بولین که Yهر مقدار در نتیجه قانون تغییر وزن ها بصورت زیر در می آید: ‏Activities ‏Videos ‏Materials ‏Lesson 1.3 ‏Lesson 1.2 ‏Lesson 1.1 در اغلب مسایل عملی بدلیل پیچیدگی زیاد و یا وجود عدم قطعیت نمی توان مدل ریاض<<ی مشخص<<ی را بدس<<ت آورد .در چنین شرایطی می توان از مدل های احتماالتی استفاده نمود که در آن ها دانش اولیه بص<<ورت ت<<ابع چگ<<<<<الی احتمال م<<<<<دل ش<<<<<ده و با مش<<<<<اهده داده مق<<<<<دار احتمال ثانویه محاسبه میش<<<<<ود ‏mixture model ‏Activities ‏Videos ‏hidden ‏Markov models ‏Bayesian networks ‏Materials ‏Lesson 1.3 ‏Lesson 1.2 ‏Lesson 1.1 Probabilistic Generative ‏Models در نگرش بیزین احتمال شرطی ( p(x|Ckو احتمال اولیه ( p(Ckاز روی داده های آموزشی یادگرفته شده و برای ساختن احتمال ثانویه ( p(Ck|xبکار میروند. برای ورودی های پیوسته تابع چگالی احتمال شرطی کالسی بصورت گوسی فرض میشود ‏Activities ‏Videos ‏Materials ‏Lesson 1.3 ‏Lesson 1.2 ‏Lesson 1.1 برای حالت دو کالسه داریم: در این رابطه با فرض اینکه تمامی کالس ها ماتریس کوواریانس یکسانی دارند جمالت مرتبه 2از xحذف شده و رابطه بصورت خطی در می آید ‏Activities ‏Videos ‏Materials ‏Lesson 1.3 ‏Lesson 1.2 ‏Lesson 1.1