صفحه 1:
آشنایی با درخت های تصمیم گیری
ارائه دهنده:
احمد نيك آبادي
8313177
لستاد:
دکتر شيري
بهار 84
صفحه 2:
فهرست مطالب
مقدمه
طراحي درخت تصمیم گيري
* پرسش هاي مطرح براي درخت تصمیم گيري (۵))
* الگوریتم يادگيري درخت 04.5 ,13
يادگيري افزايشي درخت هاي تصمیم گيري
کار درت هاي تصمدم كيرى
صفحه 3:
صفحه 4:
مقدمه
* بردار ويژگي: دوتليي (۷ ,5 بیانگر بردار ويژگي (لگو) 6_ است و ۷ برچسب کلاس مربوطه است.
اجزاء همان ويژگي‌هاي مورد نظر هستند.
الگوي مرقب: اگر ويژگي‌هاي 26 داراي مقاديري از يك مجموعه مرتب باشند. > را يك الگوي مرتب
\orderd) عدمي‌رلهم تعفنم مي‌ناميم
* _ الگوي حتمي: اگر ويژگي‌هاي بردار مقاديري اختیار کنند که داراي ترتیب طبيعي نباشند, آن را يك
(Categorical) ..> <4 مي‌نامند.
* ويژگي‌هاي عددي (مرتب) ممکن است داراي مقادیر گسسته یا پیوسته باشند.
روش هاي دسته بندي:
صفحه 5:
معرفي درخت تصمیم گيري و برخي تعاریف مورد نیاز
:نمابي از يك درخت تصمیم گيري
<= depth o
00 يت
ا
bh 0 NS (Clan bet) 0
subst used at aod + موه زور
Dy deessson mle med st ade +
صفحه 6:
معرفي درخت تصمیم گيري و برخي تعاریف مورد نیا
میانگین تعدلد لایه‌ها از ريشه تا گره‌هاي پاياني را عمق متوسط مي‌نامیم.
میانگین تعداد گره‌هاي مياني در هر سطح درخت عرض متوسط درخت نامیده مي‌شود.
اگر دو كره داخلي حداقل داراي يك کلاس مشترك باشند در این حللت گفته مي‌شود که
کلاس‌ها دارلي روي هم افتادگي (0۷6712)) هستند.
مر
صفحه 7:
معرفي درخت تصمیم گيري و برخي تعاریف مورد نیا
نحوة انتساب کلاس به يك بردار ورودي در درخت تصمیم گيري:
بردار ورودي در گره ريشه قرار مي كيريد.
بردر ورودي در هر كرهي كه قرار مي كيرد با توجه به ارزيابي انجام شده در يكي از شاخه ها
Gale مي رود تا در يك برك قرار بكيرد.
برجسب بركي كه كره در آن قرار مي كيرد به عنوان برجسب بردار بركردانده مي شود.
صفحه 8:
معرفي درخت تصمیم گيري و برخي تعاریف مورد نیا
مزایا:
1
aud’
قوانین تولید شده و به کار گرفته شده قابل استخراج و قابل فهم.
کار با داده هاي پیوسته و گسسته.
استفاده از نواحي تصمیم گيري ساده.
حذف مقایسه هاي غيرضروري:
لستفاده از ويژگي هاي متفاوت براي نمونه هاي مختلف.
اس ee Pe
صفحه 9:
در مواردی که هدف تحمیی تالعی پا مقادیر پیوسته است مناسب یستند.
در موارد با تعداد کلاس ریاد و نمونه آموزشی کم احتمال خطا بالاست.
هزینه محاسباتي بالاي تولید درخت تصمیم گيري.
هرس كردن درخت نیز هزینه بالايي دارد
در مسائلي كه كلاس هاي ورودي با نواحي مكعبي به خوبي جدا نشوند خوب عمل نمي کنند.
زياد شدن گره پاياني در صورت روي هم افتادگي گره ها
انباشته شدن خطاي لایه ها بر روي یکدیگر.
طراحي درخت تصمیم گيري بهینه مشکل است.
صفحه 10:
طراحي درخت تصمیم گيري
صفحه 11:
اهداف اصلي درخت‌هاي تصمیم گيري دسته‌بندي کننده:
1.. دادههاي ورودي را تا حد ممکن درست دسته‌بندي کنند.
2 دانش آموخته شده از دادههاي آموزشي را به گوه‌اي عمومیت ببخشند که دادههاي
دیده نشده را با بالاترین دقت ممکن دسته‌يندي کنند.
3 در صورت اضافه شدن دادههاي آموزشي جدید بتوان به راحتي درخت تصمیمگيري را
گسترش داد(داراي خاصیت افزايشي باشند).
4 ساختار درخت حاصل به ساده‌ترین شکل ممکن باشد.
"
صفحه 12:
گام‌هاي لازم براي طراحي يك درخت تصمیمگيري:
1 انتخاب مناسبي براي ساختار درخت.
2 . انتخاب ويژگي‌هايي مورد نظر براي تصمیمگيري در هر يك از گره‌هاي مياني.
3 انتخاب قانون تصمیم گيري یا استراتژي مورد استفاده در هر يك از گره‌هاي مياني.
صفحه 13:
روشهاي هيوريستيك ساخت درخت تصمیم گيري:
1 روشهاي پایین به بالا
روشهاي بالا به بايين
روش تركيبي
روشهاي رشد دهنده-هرس کننده
Robb
صفحه 14:
روشهاي 1b
* درخت تصمیم گيري از Gal به بالا با حخرکت از برگ ها به سمت ريشه ساخته مي شود.
* در هر مرحه دو یا چند کلاس بر اساس معياري با یکدیگر ترکیب مي شوند.
* فرآیند ترکیب کلاس ها تا زماني که تنها يك کلاس باقي بماند ادلمه مي یابد.
صفحه 15:
روشهاي بالا به پاب
* در روشهاي بالا به Gul براي طراحي درخت تصمیم گيري سه کار زیر انجام مي گیرد:
1 انتخاب يك قانون براي تقسيم گره‌ها
2 تصميمكيري در مورد ابا
3 انتساب برجسب كلاس به ككردهاي بايا
* اكثر كارهاي انجام شده در زمينه درخت هاي تصميم كيري روش هاي بالا به پایین هستند.
نمونه الگوریتم هاي بالا به پا
۲ 04.5 :1۳51 ,114 ,113
صفحه 16:
روش هاي رشد دهنده-هرس کننده:
** در این روش ابتدا درخت تصمیم گيري با استفاده از روشي همچون يك روش بالا به بايين
ساخته مي شود.
*** در مرحله بعد با استفاده از يك الگوریتم هرس شاخه هاي اضافي درخت حذف مي شوند.
* الگوریتم 1 از جمله این الگوریتم هاست.
الگوریتم 004.5 نيز داراي يك الكوريتم هرس مي باشد.
0
صفحه 17:
** در اين روش ها از هر دو روش بالا به بايين و يايين به بالا استفاده مي شود.
صفحه 18:
پرسش هام مطرح براي درخت
صفحه 19:
پرسش هاي مطرح برای درخت تضمیم گیری 0۵10 25
الگوریتم ساخت درخت ۸1۲):
Classification And Regression Trees (CART) *
Bereiman(1983) *
2 ارائه نرم افزاري با همین نام که این الگوریتم را پیاده سازي مي کند توسط Salford
Systems 5
* الکوریتم هاي ديگري مشابه الکوریتم 2/۸18۲ پیاده سازي شده و نشان داده شده که
از 2۵ بهتر عمل مي کنند.
صفحه 20:
پرسش هاي مطرح براي درخت تصمیم گیری CART
* برلي ساخت درخت تصمیم گيري با استفاده از الگوریتم ۵1*7 و بسياري از الگوریتم
هاي ديكر ساخت درخت بايد به يرسش هاي زير ياسخ داد.
ويژگي‌ها به مقادیر دوتايي محدود مي‌شوند يا مي توانند جند مقدار داشته باشند؟ تعداد مقادير
ويژگي‌ها تعداد خروجي‌هاي هر گره را مشخص مي‌کند.
در هر كره جه ويذكي بايد ارزيابي شود؟
چه موقع يك گره را به عنوان كره باياني اعلام كنيم؟
اگر درخت تصمیم گيري خيلي بزرگ شد چگونه مي توان آن را كوجكتر (سادهتر) كرد؟ پاسخ این
پرسش الگوریتم هرس را مشخص مي‌کند.
اگر يك برگ درخت داراي ناخالصي بود چه برچسب کلاسي به آن نسبت داده مي‌شود؟
با نمنه‌هيي که مقدار برخي ويژگي‌هاي آنان معلوم نیست چگونه برخورد شود؟
صفحه 21:
پرسش هاي مطرح براي درخت تصمیم گيري SE CART
*_ تعداد انشعاب
* انتساب برچسب کلاس به برگ‌ها
*_نمونه‌هايي که مقادیر برخي ويژگي‌هاي آنان مشخص نیست
صفحه 22:
پرسش هاي مطرح براي درخت تصمیم گیری CART
انتخاب ارزيابي و ناخالصي گره:
* معيارهاي اندازه گيري ناخالصي باید داي ويژگي هاي زیر باشند
** در صورتي كه كليه دادههاي يك كره به يك كلاس تعلق دلشته باشتد باید مقدار آن صفر
شود
** در صورتي که داده‌ها به صورت مساوي بین تمام كلاس‌هاي موجود تقسیم شده باشند
بايد بيشترين مقدار خود را داشته باشد
* برخي روش هاي اندازه كيري ناخالصي:
© باخالصي انتروبي HD Ploy) low, Pies)
AV,
=) PG), 1-2 رال Gini تب *
* تاخالصی دسته‌بندی اشتاه
لمي ی i(N) =1—max Pw)
7
صفحه 23:
پرسش هاي مطرح براي درخت تصمیم گيري CART
iP)
تموجار تقادیر معیارهای مختف نا
رهاي مختلف ناخالصي براي حالت دو کلاسه
صفحه 24:
پرسش هاي مطرح براي درخت تصمیم گیری CART
* در هر گره از چه ارزيابي براي تقسیم داده‌ها استفاده کنیم؟
با داشتن رلبطداي كه با استفاد از ن بتوان ناخالصي داده‌ها را انداز‌گيري کرد به دنبال ارزيابي
مي‌گرديم که ناخالصي داده‌ها را تا حد ممکن کاهش دهد.
* براي اندازه گيري میزان کاهش ناخالصی در موراد دو کلاسه از رابطه
Ai(N) = i(N) — Pri(Nz) — (1— Pr)i(Nr)
استفاده مي‌کنيم.
*_در لین رابطه لا و لاابه ترتیب بیانگر گره‌هاي چپ و راست ایجاد شده در نتیجه ارزيلبي
در گره فعلي و ,3 احتمال قرار گرفتن نمونه در گره چپ است.
صفحه 25:
پرسش هاي مطرح براي درخت تصمیم گیری CART
چه موقع تقسیم گره‌ها را خاتمه دهیم؟
* برازش بيش coverfitting) s> j)
* برخي روش هاي مورد استفاده براي پایان دادن به تقسیم ها
* وارسي اعتبار : هر زمان که خطاي دسته‌بندي براي داده‌هايارزيابي از يك حد از
پیش تعیین شده کمتر شد آموزش (تقسیم گره‌ها) را خاتمه مي‌دهيم.
* حد آستانه برا ات ناخالصي: اگر بهترین انتخابي که براي ارزيابي وجود دارد.
ناخالصي را از ب انه کمتر کاهش دهد تقسیم در آن گره را خاتمه مي‌دهيم.
صفحه 26:
پرسش هاي مطرح براي درخت تصمیم گیری CART
هرس كردن درخت تصمیمگيري:
* پدیده :61666 20۲12018 : گاهي اوقات متوقف شدن تقسیم نمونه‌ها در يك گره و اعلام
گره به عنوان برگ به دلیل فقدان پيش‌بيني در مورد میزان مطلوبیت تقسيم‌هاي گره‌هاي
بعدي است.
رویه ديگري که در مقابل روش متوقف ساختن تقسیم به کار گرفته مي‌شود. هرس کردن
درخت است:
tes 002255595 5055 5 0 إ
مقادير ناخالصي در برگ‌ها برسیم. سپس به بررسي دو برگ مجاور (داراي پدر یکسان)
می‌پردزيم كه آيا مي توان اين دو برك را با يكديكر تركيب كرد يا خير.
n
صفحه 27:
پرسش هاي مطرح براي درخت تصمیم گیری CART
الگوریتم هرس ۸1۸۲):
فرض كنيد مقدار762 را از رابطه
AO =10 KO
بدست مي‌آوريم. که در آن 260 نرخ دسته‌بندي اشتباه در گره ! است که با استفاده از رابطه
۱۵ 9۲ -1< 7)۵
ای موز
فرض كنيدة2 زيردرختي با ريشه !باشد و8 از رابطه
1 »22 ۵),
محاسبه شود. که در آن *ثايتي است که پيچيدگي درخت تصمیم گيري رابه ازاء هر گره پايلني
بیان مي‌کند و17 مجموعه گره‌هاي پايلني زیر درخت است.۹۹** تخميني از نوخ دسته‌بندي
اشتباه و بيچيدگي درخت ارائه مي‌کند.
صفحه 28:
اگر 1660 >(7) ؟آنگاه پيچيدگي هزینه زیر درخت کمتر از گره ! خواهد بود. لین امر براي مقادیر
كم رخ مي‌دهد. با افزلیش این رابطه تا زماني درست خواهد بود که
_RO- RT)
2۷,)۵-1
که در آز(۷)4/ تعداد گره‌هاي پایانی زیردرخت :1 است. در نهایت مقدلل9 را به شکل زير محاسبه
سور
2-1
براي هرس کردن درخت در هر مرحله مقدار ()[ را براي تمام گره‌هاي غیر برگ محاسبه مي‌کنيم.
تا زماني که حداقل این مقدار براي گره‌ها از مقدار آستان‌اي کمتر است. گره مياني با کمترین
مقدار ()[ را به عنوان برگ اعلام مي‌کنيم و مقدار (5) تمام كردهاي يدر آنن تا ريشه رل
مجددا محاسبه مي‌کنيم.
صفحه 29:
پرسش هاي مطر برای درخت میم گیری ۵۲۹1 22
الكوربتم يادكيري درخت .1103
chs
صفحه 30:
لگوریتم يادكيري درخت 04.5 ,1۳3 2
الگوریتم IDB
Quinlan - 1936 *
* بلا بهپایین
* پایه بسياري از الگوریتم هاي يادگيري درخت
** جستجوي حریصانه اي را براي درخت تصمیم گيري بهینه انجام مي دهد.
الگوریتم 64.5:
Quinlan - 1993 *
** حاصل اعمال برخي بهبودها در الگوریتم 1103 (کار با داده هاي پیوسته. کار با وبژگي
هاي بدون مقدار و ..)
الگوریتم 5):
صفحه 31:
الگوریتم يادگيري درخت 4.5 .1103
الگوریتم 13:
کار کردن با مثال‌هاي آموزشي داراي صفات بدون مقدار
* کار با صفات داراي مقادیر پیوسته
* کدام صفت بهترین دسته‌بندي کننده است؟
* مشكل معيار اندزهگيري بهره اطلاعاني
* مقیاس دیگر بیلي انتخاب صفات
«Quinlan 1986, C4.5) نسبت بهره *
اک
SplitInfaratiots, A) = اک Toa tel
Gait'S A
GainRatios, A) سبد ييه
۳
صفحه 32:
الگوریتم يادگيري درخت 4.5 .1103
کار با صفات داراي هزينه‌هاي متفاوت:
** گاهي اوقات ویژگی هاي مختلف داراي هزینه محاسبه متفاوتي هستند.
** مي‌توان با اضافه کردن عبارت هزینه در مقیاس انتخاب صفات 193 را به گونه‌اي
تغییر داد که هزینه ضفات را نیز در نظر بگیرد.
* پيشنهادي ارائه شده (جریمه کردن ويژگي با هزینه آن):
-Tan (1993) , Schlimmer (1990) , Tan *
Gaiti(S, A)
CostA)
Nunez (1988) *
gait) _
(CostA) +1)”
۳
صفحه 33:
الكوريتم يادكيري درخت 04.5 .123 *
ایجاد پنجره در 113
** _روشي براي برخورد با دادههاي آموزشي بسیار زیاد
**_بدون استفاده از تکنيك ایجاد پنجره الگوريتم‌هاي فوق بسیار کند عمل خواهند کرد
** نمونه‌اي از يك الگوریتم يادگيري به شکل زیر است:
زیرمجموع‌اي از تمونه‌هاي آموزشي را به تصادف انتخاب كنيد.
الگوریتم 1103 را بر روي نموه‌هاي آموزشي انتخاب شده اجرا و درخت تصمیمگيري
حاعل را پدست آورید.
als >
آموزشي را که اشتباه دسته‌بندي شدهاند در مجموعه‌اي همانند 3 قرار دهید.
وندهاي آموزشي رابا استفاده از درخت به دست آمده دسته‌بندي کنید. نمونههاي
در صورتي كه 12 نهي بود الكوريتم خاتمه مييابد.
ازير مجموعه نمونههاي آموزشي (5) را برابر با اجتماع 5 و 5 قرار بده.
به كام 2 برو و الكوريتم 1193 را براي زيرمجموعه نموندهاي آموزشي جديد اجرا كن.
rr
صفحه 34:
يادگيري افزايشي درخت هاي
صفحه 35:
يادگيري افزایث يشي درخت هاي تصميم گيري
بادگیری درخت تصمیم گيري
© غیر افزايشي:الگوریتم درخت تصمیم گيري موردنظر را در ید ار آموزش با داههاي آموزشي یادميگیرد.
* افزايشي: با دریافت هر نمونه آموزشی جدید در صورتی که لازم باشد. الگوریتم. درخت یادگرفته شده را
بازبيني مي كند و ممكن است آنجه رأ كه ياد كرفته اسث بهبود بخشد.
* ويژگي هاي الكوريتم افزايشي خوب:
حافظه مورد نياز كم.
© سرع بازسازي بلاي درخت.
** تولید درختي مناسب نسبت به روش هاي غيرافزايشي.
* الگوریتم هاي 0۸87 و 1123 كه نا اينجا ديديم همكي الكوريتم هاي غير افزايشي بودند.
٠. 0 الگوریتم هاي افزايشي ساخت درخت:
"103 *
104 *
IDSR *
re
صفحه 36:
يادگيري افزایث يشي درخت هاي تصميم گيري
الگوریتم PTD
ساده رین ساخت درخت تصمیم گيري به صورت فزايشي است.
“* کلیه نمونه هاي آموزشي را نگهداري مي کند و با دریافت هر نمونه جدید للگورتیم
ساخت درخت را از بت اجرا مي کند.
۰ ويژگي ها:
** حافظه مورد نياز زياد.
* سرعت کم.
** درختي مشابه درخت 1123 ایجاد مي کند!
nm
صفحه 37:
يادگيري افزایث يشي درخت هاي تصميم گيري
الگوریتم 14]:
اساس کار این الگوریتم دسته بندي ورودي جدید و خراب کردن زيردرختي است که بهترین
صفت برا ی ارزیابی در آن انتخاب فشده باشد.
ويژگي ها:
* این الگوریتم ساخت درختي مشایه درخت 1123 را تضمین نمي کند.
در برخي موارد قادر به یافتن درخت مناسب ثیست.
۳۷
صفحه 38:
يادگيري افزا
يشي درخت cle تصمیم گيري
الگوریتم 1051۴
** تضمین مي‌کند که با استفاده از دادههاي آموزشي یکسان درخت حاصل از آن مشبه
درخت توليدي الگوریتم 1123 خواهد بود.
** تفاوت این للگوریتم با 104 در روش تغییر ويژگي لرزيابي در يك گره است.
* به جاي آنکه زیر درخت مربوط به گرهي که قرار است ويژگي مورد ارزيلبي ن تفییر
كند كلا خراب شود, لین زیر درخت رابه گونه‌اي بازسازي مي‌کند که ويژگي مورد نظر
در ريشه قرار بگیرد.
** شامل دو الگوریتم به روز رساني درخت و بازسازي است.
* براي بازسازي درخت.لین الگوریتم در هر گره تعداد نمونه هاي هر يك از كلاس ها را
براي هر يك از مقادیر ويژگي ها نگهداري مي کند. به متفيرهاي نگهدارنده هر يك از این
مقادیر «شمارنده مورد» گفته مي شود.
2
صفحه 39:
يادكيرى افزايث يشي درخت هاي تصميم گيري
الكوريتم به روزرساني درخت 119514
اگر درخت خللي است. درخت را به عنوان يك كره تنها تعريف كن. برجسب كره را برجسب cals
آموزشي جدید قرار بده و مجموعه موارد را نيز مجموعداي شامل تنها داده أموزشي آرائه شده قرار oa
در شیر این صورت اگر درخت گسترش داده نشده است و برجسب داده آموزشي جديد يا برجسب كره
يکي است. داده آموزشي جدید را به مجموعه دادههاي گره آضافه کن.
دعس اس حور
)2 اگر درخت گسترش داده نشده است. آن رابا انتخاب يك صفت دلخواه براي ريشه. يك سطح
ae
0 تعداد موارد مثيت و منفي را به اه مقادير ويژگي‌هاي داده آموزشي جدید براي صفت ارزيابي و
كليه صفات ديكر در گره خعلي رو
Ce اگر در گره فعلي بهترین ويژگي براي ارزيابي انتخاب نشده است.
1 درخت رابهگونه‌ايبازسازي کن که ويژگي مورد نظر در ريشه مورد ارزيابي قرار بكيرد.
11 به صورت بازگشتي بهترین ويژگي براي آرزيلبي در هر يك از زیر درخت‌ها -بجز زیر
درختي که در گام 4 به روزرساني مي‌شود- را انتخاب کن.
0 _ زیر درختی از گره جاري که داده آموزشي در ن قرار مي‌گیرد را به صورت بازگشتي به
روزرساني گن و در صورت لزوم آن را گسترش یده
۳
صفحه 40:
يادگيري افزایث يشي درخت هاي تصميم گيري
الگوریتم بازسازي 1516 :
1.. اگر ويژگي مورد نظر هم اکنون در ريشه باشد. آنگاه الگورتیم خانمه مي‌یید.
2 در غیر این صورت:
@ به صورت بازگشتي هر يك از زیر درخت‌هاي گره فعلي را با انتخاب ويژگي مورد نظر به
عنوان ويژگي ارزيابي بازسازي کن. در مواردي که لازم است. درخت را گسترش بده.
© هد بت وا ره ی ات ار رسای
قبلي قرار بده..
صفحه 41:
يادگيري افزایث يشي درخت هاي تصميم گيري
مثالي از به كارگيري الگوریتم 1951۴ :
* مجموعه داده هاي مورد استفاده براي ساخت درخت:
class height hair eyes
- short blond brown
tall dark — brown
+ ۱
tall blond blue
- tall dark blue
- short dark — blue
+ tall red blue
- tall blond brown
+ short blond blue
صفحه 42:
يادگيري افزایث
نمونه جدید:
درخت حاصل:
يشي درخت cle تصمیم گيري
— short blond brawn
(eyes=brown, hair=blond, height=short)
صفحه 43:
يادگيري افزايشي | درخت هاي تصمیم گيري
نمونه جدید: ال
درخت حاصل:
(eyes-brown, hair=blond, height=short)
صفحه 44:
يادگيري افزایث يشي درخت هاي تصميم گيري
نمونه جدید:
عاو تت tall blond bine +
درخت حاصل:
height
height gotten /” \ att
eyes eyes
wo Nan
(eyessbronn, irblorc) | ۱۵ | | لصم
(hait-blond) ——(eir=dark)
yes
sin mia
+ ‘height
004
01
صفحه 45:
يادگيري افزایشی درخت cle تصمیم گيري
نمونه جدید:
حي و ۳
درخت حاصل:
eyes.
ary ent
hair height
serena / ی ۱
height 7 ۳ -
(heiaht-tal) ——_(haitebiond) (hare dark)
۵۵ |
صفحه 46:
= short dark blue نمونه جدید:
درخت حاصل:
یج سروس
eyes
“af Nye مس سا
height height height
(heigh=shorh
ati. | | sorta "eight apa
+ = -
صفحه 47:
يادكيري افزايث يشي درخت هاي تصميم گيري
+ tll اف
م ع fit Bnd eno
سلا سيل مس +
درخت حاصل:
5
7 5 bi 7 jnt=tl)
eye
wey \ gown esa//\ enn na
‘aight height height
ainsi رصت متا Non SREP [sn
صفحه 48:
يادگيري افزایث يشي درخت هاي تصميم گيري
*_درخت حاصل را مي توان .به شكل فشرده زير نيز ارلئه كرد اما لين كار در الگوریتم 10518
انجام نمي شود.
hair
blond [2.2] \ dak (0,3)
(eyes=blue, height=short) (eyes=blue, heighi=tall)
et nha ارسي" wwe”
+ ® (eyes=brown, height=tall
لين
(heght-tal) (neigrt-tal
صفحه 49:
يادگيري افزایشی درخت cle تصمیم گيري
برررسي پيچيدگي الگوریتم هاي معرفي شده:
* پیچیدگی الگوریتم ها بر اساس تعداد نمونه هاي آموزشي (10) است.
* دو معیار ارزيابي تعداد افزایش هاي شمانده هاي مورد و محاسبه ارزش تقسیم
هستند.
Instance-count additions _E-score calculations
13 ۵0۰0 0065)
IDS = O(n- b*) O(n-d?)
IDSR O(n-d-b*) O(n-b4)
1D3! 007 22 O(n-b4)
صفحه 50:
کاربرد درخت هاي تصمیم گيري
* مسائل دسته بندی
Using Decision Tree Confidence Factors for Multi °
agent Control
صفحه 51:
مراجع
]1[ S. R. Safavian, and D. Landgrebe, “A Survey of
Decision Tree Classifier Methodology,” IEEE
Transactions on Systems, Man, and Cybernetics, Vol.
21, No. 3, pp 660-674, May 1991.
[2] R. Duda, and PE. Hart, Pattern Classification and
Scene Analysis, Wiley, 1978.
[3] A. Webb, Statistical Pattern Recognition, Second
Edition, Wiley, 2002.
[4] T. M. Mitchel, Machine Learning, McGraw-Hill, 1997.
[5] P. E. Utgoff, “Incremental induction of decision tress,”
Machine Learning vol. vol. 4, pp.161-186, 1989.
[6] P. Stone, M. Veloso, “Using Decision Tree Confidence
Factors for Multi agent Control”, 1998.