داده کاوی و کاربردهای آن

داده کاوی و کاربردهای آن

اسلاید 1: ارائه دهنده : بهشيـد بهکمـالداده كاوي و كاربردهاي آنكارگاه تخصصي آموزشي 29/10/88

اسلاید 2: 2سرفصل مطالب درسمقدمه اي بر داده كاوي (تعريف، تاريخچه و مفاهيم) جايگاه داده كاوي در فرايند كشف دانشجايگاه داده كاوي در سازمانمروری بر روشهاي داده كاويطبقه بندیخوشه بندیکشف قانون همبستگی تشخیص و کشف خطاکشف الگوی ترتیبیمطالعه موردي: کاربرد داده کاوی در CRM شرکت بیمه

اسلاید 3: 3مقدمه گسترش سيستم هاي پايگاه داده و ابزارهای متعدد برای ذخيره حجم بالاي داده ها هزينه بالای انجام عمليات روی حجم انبوه داده از نظر نيروي انساني و مادينياز به روشهايي خودکار براي کشف دانش با کمترين دخالت کاربر

اسلاید 4: 4تاريخچه داده کاوياز 1960ایجاد سيستم ها ي جمع آوري و مديريت داده ها توسط IBM, CDCذخیره داده ها روی دیسک ها و کامپیوترهابازیابی ایستا (محاسبه کل سود یک فروشگاه در 5 سال گذشته)از 1980 ایجاد زبان پرس و جو برای تهیه گزارشات از پايگاه داده شاخص گذاري و سازماندهي داده ها با DBMS هاي DB2 ، Oracle ، Sybase بازیابی پویا در سطح رکورد (ميزان فروش يك كالا در يك شعبه بصورت روزانه)از 1990ايجاد پایگاه داده های چند بعدیData Warehouse و OLAP بازیابی پویا در چند سطح (با امكان Drill Down )OLAP اطلاعات کاملی از رخدادهای گذشته می دهد، ولی نمی تواند بگوید چرا اتفاق افتاده و یا پیش بینی کند. در حال حاضر ابزارهای پیشرفته مانندSPSS/Clementine, SGI, SAS کشف الگوهاي جديد در پايگاه داده هابازیابی پویا با نگاه پیشرو به آیندهفروش یک کالا در ماه آینده در یک شعبه خاص چقدر است؟ و چرا؟

اسلاید 5: 5تعريف داده کاوي “…The non-trivial process of identifying valid, novel, potentially useful, and ultimately understandable patterns in data…” Fayyad, Piatetsky-Shapiro, Smyth [1996]

اسلاید 6: 6حوزه هاي مرتبط با داده كاوي StatisticsMachineLearningDatabasesVisualizationData Mining and Knowledge Discovery

اسلاید 7: 7چرا و چه وقت داده کاوي؟حجم انبوه داده (ترابایت)روش های آماری مبتنی بر نمونه گیری است. داده های با حجم زیاد و با ابعاد مختلفتصاویر و عکسهاداده های ژنتیکی کشف اطلاعات نهفته و الگوی های ناشناخته مفید از درون حجم انبوه داده هاالگوي مفيد، مدلي برای توصیف ارتباط ميان زير مجموعه ای از داده هاست و معتبر ، ساده ، قابل فهم و جديد است. حجم بیشتر داده ها و روابط پيچيده تر دسترسي به اطلاعات نهفته در ميان داده ها مشکل ترنقش داده کاوي روشن تر

اسلاید 8: 8__________________Transformed DataPatternsand RulesTarget DataRaw DataData MiningTransformationInterpretation& EvaluationSelection& CleaningIntegrationUnderstandingDATAWarehouseKnowledgeجایگاه داده کاوی در فرايند کشف دانش

اسلاید 9: 9جايگاه داده داده كاوي در سازمان

اسلاید 10: 10چالش های داده کاوینگهداری و پردازش حجم انبوه داده هافرمت هاي مختلف دادهنیاز به عمليات و تکنيک های مختلف از قبیل تعريف صفات جديد با انجام عمليات رياضي و منطقي روي صفات موجود مقادیر نامعتبر و بی کیفیت داده های خاماستفاده از روشها و الگوریتم های مختلف برای پاکسازی دادهروش های کارا برای جستجوبروز رسانی و یکپارچگی داده ها

اسلاید 11: 11کاربردهاي داده کاويخرده فروشي تعيين الگوهاي خريد مشتريان بيمهپيشگويي ميزان خريد بيمه نامه هاي جديد توسط مشتريانپزشکيپيشگويي ميزان موفقيت اعمال جراحي بر اساس شرایط بیمارانبانکداريپيش بيني الگوهاي کلاهبرداري از طريق کارتهاي اعتباري تشخيص مشتريان ثابت

اسلاید 12: 12با داده كاوي مي توان ... پیش بینی وقایع آینده بر اساس روند گذشتهطبقه بندی اشیا و افراد برای شناسایی الگودسته بندی اشیا و افراد بر اساس صفات و ویژگی هاشناسایی وقایعی که احتمال دارد همزمان رخ دهندشناسایی وقایعی که یکی باعث وقوع دیگری می شود

اسلاید 13: 13روش های داده کاویتشخیص و کشف خطا Deviation Detectionطبقه بندیClassificationتوصیف کنندهِDescriptiveپیش بینی کنندهPredictiveکشف الگوی ترتیبی Sequential PatternDiscoveryکشف قانون وابستگی Association Rule Discoveryطبقه بندي روشهاي داده كاويخوشه بندیClustering

اسلاید 14: 141. طبقه بندیطبقه بندی اشیا و افراد برای شناسایی الگویادگیری نظارت شده- درخت تصمیم- شبکه عصبی.....

اسلاید 15: 15مثالی از طبقه بندی با درخت تصمیمcategoricalcategoricalcontinuousclassRefundMar StTax IncYESNONONOYesNoMarried Single, Divorced< 80K> 80KSplitting AttributesBest when the predictor variables are categorical

اسلاید 16: 16مثالی از طبقه بندی با شبکه عصبیcategoricalcategoricalcontinuousclassTestSetTraining SetModelLearn Classifier

اسلاید 17: 17کاربردهای طبقه بندیبازاریابی مستقیمشناخت تقلب - Fraud Detectionشناسایی و طبقه بندی مشتریارسال کاتالوگ

اسلاید 18: 182. خوشه بندیيادگيري نظارت نشده دسته بندی طبیعی داده های نامتجانس به تعدادی خوشه براساس خصوصيات مشابه پيوستگي داخلي هر دسته و همبستگي خارجي کم با سایر دسته هابراساس نزدیکی فاصله ميان رکوردها و درصد قرار گرفتن داده هاي ورودي در خوشه هاتفاوت با طبقه بندینامعین بودن خوشه ها در شروع کار

اسلاید 19: 19خوشه بندی ...معایبنامناسب برای داده های با خصوصيات نامربوط و دارای افزونگي دقت کمتر از روشهاي ديگر کاربردتقسیم بندی بازار محصولشناسايي مشتريانبازاريابي مستقيم

اسلاید 20: 203. کشف قانون وابستگیکشف و تولید الگوهایی که وقوع یک رخداد را براساس واقعه دیگر پیش گویی کندRules Discovered: {Milk} --> {Coke} {Diaper, Milk} --> {Beer}Support تنها در 0001/ . درصد از تراکنشهاي خريد ، شير و پيچ گوشتي با هم باشند ، بنابراين درجه پشتيباني براي قانون زیر پایین است: پيچ گوشتي → شير Confidenceدرجه اطمینان قانون پنير → نان 80% است. در 80% تراکنشهاي خريد ، اگر نان وجود داشته باشد ، پنير نيز وجود دارد .

اسلاید 21: 21کاربردهای کشف قانون وابستگی مدیریت موجودی و انبارتبلیغات و بازاریابی چند کالامدیریت چیدمان قفسه های فروشگاه

اسلاید 22: 224.تشخیص و کشف خطاکشف تغییرات در داده ها براساس رفتار نرمال گذشته مثال کاربردتشخيص حمله يا نفوذ در شبكهکشف الگوهای خرید غیرنرمال توسط کارت های اعتباری

اسلاید 23: 5. کشف الگوی ترتیبیشناسایی ترتیب وقایع براساس اطلاعات گذشتهمثال:40% مشتریان که کت خاکستری خریده اند، شش ماه بعد شلوار مشکی خریده اند.نیازبهداده های کامل، دقیق و معتبرنتیجهبرنامه ریزی تولید بهتر مدیریت بهینه انبار

اسلاید 24: مطالعه موردیکاربرد داده کاوی در CRM شرکت بیمه

اسلاید 25: 25چرخه مديريت ارتباط با مشتري

اسلاید 26: 26مطالعه موردی: شرکت بیمه جامعه آماری مورد مطالعهداده های سیستم های اطلاعاتی یک شرکت بیمه شامل بیمه بدنه خودرو، بیمه باربری و بیمه آتش سوزیاطلاعات قراردادهای بيمه نامه ها شامل17000 رکورد62 فيلد متمايز

اسلاید 27: 27تحليل نتایج داده كاوي درک توزیع پارامترهای مختلف درجامعه آماری اغلب بیمه گذاران را افراد (و نه سازمانها) تشکیل می دهند. در بیمه آتش سوزی: نرخ رویگردانی مشتری < نرخ جذب مشتری در بیمه بدنه خودرو: نرخ رویگردانی مشتری > نرخ جذب مشتریدرک خروجی مدلهای داده کاوی ارائه تخفیف به مشتری، دلیل اطمینان بخشی برحفظ مشتری برای دوره بعد نيست.نرخ جذب مشتریان با سابقه خسارت > مشتريان بدون سابقه خسارت (بر خلاف تصور مدیران)

اسلاید 28: 28تحليل نتایج داده كاوي ...تلفیق الگوهای حاصل از مدلهای مختلف و شناخت روابط عمیق بين رفتارهای مختلف مشتریانبالاترین نرخ جذب مشتری: مشتریان با واسطه (مانند بانک یا شرکت خودروسازی)بیشترین نرخ رويگرداني: همین مشتريان نتیجهوجود واسطه میان مشتری و سازمان توان سازمان در ایجاد روابط بلند مدت با مشتری واقعی (مصرف کننده) تهدید می کند.

اسلاید 29: 29کلام آخرداد کاوی مناسب برای هر حوزه ای که نیاز به شناسایی الگوی جدید و ارتباط بین داده ها دارد داده کاوی موفقمنابع داده معتبر، با کیفیت و کاملانتخاب روش صحیح داده کاوی

اسلاید 30: از بذل توجهتان متشكرم