داده کاوی

داده کاوی

اسلاید 1: داده کاوی فصل 13 کتاب نقشه راه هوش تجاریارائه دهنده: محمد رضا هراتی نیک 88131081استاد درس: جناب آقای دکتر احمد عبدالله زادهدانشگاه صنعتی امیرکبیردانشکده مهندسی کامپیوتر و فناوری اطلاعات

اسلاید 2: فهرستمعرفی داده کاوی از ابعادجایگاه موارد قابل ملاحظه هدف تعریف تفاوت داده کاوی با تحلیل های آماریاهمیت داده کاوی و منابع داده ای مرتبط با آنتکنیک های های داده کاویعملیات داده کاویبرنامه های کاربردی داده کاویفعالیت ها و گام های داده کاویریسک عدم انجام داده کاویدر س هوش تجاری – داده کاوی: فصل 13 کتاب نقشه راه هوش تجاری - دانشکده مهندسی کامپیوتر و فناوری اطلاعات دانشگاه صنعتی امیرکبیر - محمد رضا هراتی نیک

اسلاید 3: جایگاه داده کاوی در مراحل 16 گانه راه اندازی هوش تجاریدر س هوش تجاری – داده کاوی: فصل 13 کتاب نقشه راه هوش تجاری - دانشکده مهندسی کامپیوتر و فناوری اطلاعات دانشگاه صنعتی امیرکبیر - محمد رضا هراتی نیکگام 13: داده کاوی

اسلاید 4: موارد قابل ملاحظه در ارتباط با داده کاویسوالات مرتبط با بازارآیا یک طبقه بندی کلی بر روی مشتریان وجود دارد؟آیا زیر مجموعه هایی از مشتریان با الگوهای رفتاری مشابه پیدا می شود؟پیام های هدفمند می تواند مورد استفاده قرار بگیرد؟آیا شناخت مناسبی از گروه بهترین مشتریانمان داریم؟ آیا الگویی وجود دارد که بتوان با آن ارزیابی نمود که به چه میزان این گروه محصول جدید ما را خریداری می نمایند؟آیا می دانیم چگونه می بایست مشتریانمان را نگه داریم؟ آیا تخمینی از مشتریانی که در آینده نزدیک ما را ترک می نمایند، داریم؟چه مشتریانی تمایل بیشتری به خرید محصولات جدید ما را دارند؟آیا مشتریانی داریم که برای ما هزینه داشته باشند؟آیا به رفتارهای متقلبانه ای که نیاز به کشف و بررسی دارند، اهمیت می دهیم؟در س هوش تجاری – داده کاوی: فصل 13 کتاب نقشه راه هوش تجاری - دانشکده مهندسی کامپیوتر و فناوری اطلاعات دانشگاه صنعتی امیرکبیر - محمد رضا هراتی نیک

اسلاید 5: موارد قابل ملاحظه در ارتباط با داده کاویدادهآیا داده های ما به اندازه کافی برای داده کاوی تمیز هستند؟آیا داده ها به درستی می تواند مورد استفاده و تفسیر قرار بگیرد؟آیا داده ها برای داده کاوی به صورت مناسب کد و ساختاربندی شده اند؟ابزار داده کاویچه گونه ای از ابزارهای داده کاوی برای سازمان ما مفید است؟چه مولفه هایی را باید در انتخاب ابزارهای داده کاوی باید در نظر گرفت؟چگونگی برگشت سرمایه مربوط به عملیات داده کاوی و ابزار آن مشخص است؟نیروی انسانیآیا تحلیل کنندگانی که مهارت تفسیر خروجی های داده کاوی را داشته باشند، داریم؟ آیا مدیران پایگاه داده ما مهارت کار با پایگاه داده داده کاوی را دارند؟ یا باید این نیروها را استخدام کنیم؟ تمام وقت یا پاره وقت؟در س هوش تجاری – داده کاوی: فصل 13 کتاب نقشه راه هوش تجاری - دانشکده مهندسی کامپیوتر و فناوری اطلاعات دانشگاه صنعتی امیرکبیر - محمد رضا هراتی نیک

اسلاید 6: هدف از داده کاویمقدار زیاد داده در پایگاه های داده های عملیاتی دانش پر اهمیت پنهانالگوهای ارزشمندداده کاوی سبب می شود تا مدیران کسب و کار بتوانند:منفعت بیشتری کسب نمایندهزینه ها را کاهش دهندراهبردهای خلاقانه در ارتباط با محصولات ارائه دهندسهم خود را در بازار افزایش دهنددر س هوش تجاری – داده کاوی: فصل 13 کتاب نقشه راه هوش تجاری - دانشکده مهندسی کامپیوتر و فناوری اطلاعات دانشگاه صنعتی امیرکبیر - محمد رضا هراتی نیک

اسلاید 7: تعریف داده کاویداده کاوی یک محصول استانداردی نیست که یکباره خریداری شود.داده کاوی نیازمند استفاده از ابزار مناسب و بکارگیریهوش مصنوعیشناسایی الگوپایگاه داده آمار سنتیماژول های گرافیکیتعریف داده کاوییک تحلیل برای کشف اطلاعات و دانش نهفته در میان مقدار زیادی دادهدر س هوش تجاری – داده کاوی: فصل 13 کتاب نقشه راه هوش تجاری - دانشکده مهندسی کامپیوتر و فناوری اطلاعات دانشگاه صنعتی امیرکبیر - محمد رضا هراتی نیکنمایش الگوها وارتباطات نهفته بین داده های سازمان

اسلاید 8: تفاوت داده کاوی با تحلیل های آماریدر س هوش تجاری – داده کاوی: فصل 13 کتاب نقشه راه هوش تجاری - دانشکده مهندسی کامپیوتر و فناوری اطلاعات دانشگاه صنعتی امیرکبیر - محمد رضا هراتی نیکتفاوت داده کاوی با تحلیل های سنتی آماری، یکی از موضوعات مهم برای شروع داده کاوی می باشد:داده کاویتحلیل های آماریداده کاوی نیاز به فرضیه ندارد.آمارگران کار خود را با فرضیه شروع می کنند. مثال: کار با اینترنت بیش از سه ساعت در روز سبب بروز اختلال های روانی در انسان می شود.الگوریتم های داده کاوی به صورت اتوماتیک معادلات را کشف می نمایند.آمارگران می بایست بر اساس فرضیاتشان، معادله تشکیل دهند.داده کاوی از فرمت های گوناگونی علاوه بر فرمت عددی مانند متن، صدا و ... استفاده می کند.تحلیل های آماری فقط از داده های عددی استفاده می کنند.تفسیر خروجی های داده کاوی کار آسانی نیست. آمارگران نیز می بایست در تفسیر خروجی های داده کاوی شرکت کنند و در ارائه نتایج به به مدیران و فعالین کسب و کار کمک نمایند.آمارگران نتایج خود را تفسیر و به مدیران و فعالین کسب و کار ارائه می دهند.

اسلاید 9: مقایسه روش های سنتی آماری با داده کاوی –مثال 1موضوع کشف الگوهای تقلب در شرکت بیمهتکنیک های تحلیلی گذشتهتعریف الگوهای رفتاری متقلبانه بر اساس دانش و اطلاعات بدست آمدهپرس و جو در داده ها و ارزیابی آنتعیین درستی الگوهای ارائه شدهداده کاویشناسایی الگوهای غیر طبیعی که فاصله زیادی با رفتار نرمال دارندبررسی میزان تقلبانه بودن الگوهای کشف شدهدر س هوش تجاری – داده کاوی: فصل 13 کتاب نقشه راه هوش تجاری - دانشکده مهندسی کامپیوتر و فناوری اطلاعات دانشگاه صنعتی امیرکبیر - محمد رضا هراتی نیک

اسلاید 10: مقایسه روش های سنتی آماری با داده کاوی –مثال 2موضوع تجزیه و تحلیل حوزه های بازارتکنیک های تحلیلی گذشتهصورت مسئله: مطالعه رفتارهای خرید گروه های از پیش مشخص شده مشتریان در راستای هدفمند کردن برنامه های بازاریابیبکارگیری ویژگی های شناخته شده هر کدام از گروه ها و منظم کردن آنهامطالعه بر روی رفتارهای خرید معمول هر گروه تکرار مراحل بالا تا بدست آوردن یک گروه بندی مطلوب از مشتریانداده کاویخوشه بندی مشتریان و مطالعه هر خوشهاستخراج ویژگی های هر خوشه توانایی کمک گرفتن از پرس و جو ها و گزارش گیری های مختلف و ابزارهای تحلیل چند بعدیدر س هوش تجاری – داده کاوی: فصل 13 کتاب نقشه راه هوش تجاری - دانشکده مهندسی کامپیوتر و فناوری اطلاعات دانشگاه صنعتی امیرکبیر - محمد رضا هراتی نیک

اسلاید 11: اهمیت داده کاویداده کاوی در پاسخ سوالاتی کمک می کند که تصمیم گیرندگاناز طرح آن عاجز هستند.پاسخ سوالات مهم راهبردی در مورد کسب و کار سازمانمسائل و موضوعات چند بعدی که تحلیل آن ها بسیار سخت و با روش های قدیمی امکان حل آنها وجود ندارد.در نتیجه یکی از مولفه های حیاتی در هوش تجاری: داده کاویدر س هوش تجاری – داده کاوی: فصل 13 کتاب نقشه راه هوش تجاری - دانشکده مهندسی کامپیوتر و فناوری اطلاعات دانشگاه صنعتی امیرکبیر - محمد رضا هراتی نیکداده کاوی

اسلاید 12: منابع داده ای برای داده کاویداده هایی که در داده کاوی مورد استفاده قرار می گیرند:در س هوش تجاری – داده کاوی: فصل 13 کتاب نقشه راه هوش تجاری - دانشکده مهندسی کامپیوتر و فناوری اطلاعات دانشگاه صنعتی امیرکبیر - محمد رضا هراتی نیکDWDBداده های ارزشمند و تجمیع شده داخلیداده های خارجی مانند قوانین و مسائل جمعیتی -جغرافیاییDM

اسلاید 13: لزوم ایجاد پایگاه داده داده کاویچرا به طور مستقیم از DB و DW برای عملیات داده کاوی استفاده نمی کنیم:در بعضی کاربرد ها می بایست ساختار و فرمت داده ها تغییر کند.بازده و کارایی پایگاه داده و پایگاه داده تحلیلی پایین نیاید.نیاز به اطلاعات جزئی تاریخی که در نوارهای آرشیو موجود است.نیاز به ترکیب اطلاعات موجود در پایگاه داده و پایگاه داده تحلیلی می باشد. مانند الگوی رفتاری مشتریدر نیتجهدر س هوش تجاری – داده کاوی: فصل 13 کتاب نقشه راه هوش تجاری - دانشکده مهندسی کامپیوتر و فناوری اطلاعات دانشگاه صنعتی امیرکبیر - محمد رضا هراتی نیکDMETL

اسلاید 14: تکنیک های داده کاویکشف وابستگی (Associations Discovery)اگر فردی شامپو بخرد با احتمال 96درصد صابون هم خریداری می کند.پارامترهای میزان وابستگیSupportConfidenceطبقه بندیدسته ها از قبل مشخص هستند.ارائه مدلی برای تعیین گروه و دسته داده های جدید ساخت مدل بر اساس داده های موجود و ارزیابی آن با داده های تستخروجی به صورت یک مدل مانند درخت تصمیم، شبکه عصبی، قانون بیز و ...در س هوش تجاری – داده کاوی: فصل 13 کتاب نقشه راه هوش تجاری - دانشکده مهندسی کامپیوتر و فناوری اطلاعات دانشگاه صنعتی امیرکبیر - محمد رضا هراتی نیک

اسلاید 15: تکنیک های داده کاوی - ادامهخوشه بندی (Clustering)دسته بندی داده هادسته بندی از قبل تعریف نشده است.بر اساس شباهت میان اعضای یک دسته و تفاوت با بقیه دسته هاپارامتری که بیان کننده خوبی خوشه بندی است:Silhouetteپیش بینیرگرسیونبا دانستن مقادیر قبلی داده، مقادیر آن را در آینده پیش بینی کنیم. مثال: پیش بینی فروش تابستان بر اساس فروش های قبلیکشف روند زمانیفرقش با رگرسیون : فقط مربوط به داده های زمانی. مثال: نرخ تصادفات در فصولدر س هوش تجاری – داده کاوی: فصل 13 کتاب نقشه راه هوش تجاری - دانشکده مهندسی کامپیوتر و فناوری اطلاعات دانشگاه صنعتی امیرکبیر - محمد رضا هراتی نیک

اسلاید 16: عملیات های داده کاویمدل های پیش بینی و طبقه بندیبرای پیش بینی و جواب به یک سوال مشخصمثال: تحلیلگر بانک برای جواب به این سوال که چه مشتریانی بانک را ترک می کنند، یک مدل طبقه با دو مقدار خوب و بد طراحی می کند.به دنبال وابستگی ها، الگوها، روندها و حقایقی برای تصمیم گیریتحلیل ارتباطترکیب الگوریتم های محاسباتی و تکنیک های نمایشی برای ارائه ارتباطات میان موجودیت های داده ای در پایگاه دادهتکینک های مورد استفاده: کشف وابستگی، کشف روند زمانیبرای مثال: چه اجناسی با هم خریداری می شود.قطعه بندی پایگاه دادهگروه بندی داده های همگون با یکدیگر با استفاده از خوشه بندیبه عنوان ورودی برای دیگر تکنیک های داده کاویدر س هوش تجاری – داده کاوی: فصل 13 کتاب نقشه راه هوش تجاری - دانشکده مهندسی کامپیوتر و فناوری اطلاعات دانشگاه صنعتی امیرکبیر - محمد رضا هراتی نیک

اسلاید 17: عملیات های داده کاویکشف انحرافکشف داده هایی که خارج از روند معمول و مورد انتظار هستند.کاربرد: کشف تقلب، کشف کاهش ناگهانی فروش و یا تعداد مشتریاندر س هوش تجاری – داده کاوی: فصل 13 کتاب نقشه راه هوش تجاری - دانشکده مهندسی کامپیوتر و فناوری اطلاعات دانشگاه صنعتی امیرکبیر - محمد رضا هراتی نیک

اسلاید 18: برنامه های کاربردی داده کاویمدیریت بازارفروش محصولات جدید به مشتریان موجودمانند تبلیغات و ارسال پست الکترونیک: کاهش هزینه های فروشکشف مشتریانی که در حال ترک سازمان ما هستند.تحلیل آسیب پذیری و اتخاذ راهبرد های مناسب برای نگه داشتن این گونه مشتریانکشف گونه های مختلف طبیعی حوزه های بازارقطعه بندی بازار برای ارتقا و پیشرفت در جهت شناخت و ارائه محصولات جدیدگروه بندی دورنمای بازارطبقه بندی گروه های انتظار برای پیدا کردن راه حل های هدفمند سازی بازارتحلیل سبد محصولکشف این که چه محصولاتی با هم خریداری می شوند.در س هوش تجاری – داده کاوی: فصل 13 کتاب نقشه راه هوش تجاری - دانشکده مهندسی کامپیوتر و فناوری اطلاعات دانشگاه صنعتی امیرکبیر - محمد رضا هراتی نیک

اسلاید 19: برنامه های کاربردی داده کاویکشف تقلبتقلبات کارت های اعتباریبدست آوردن الگوهای نرمال، سپس کشف داده های خارج از الگوتقلبات کارت های تلفنتعیین وضعیت های مشکوک کارت تلفنتقلبات بیمهتحلیل گسترده بر روی دعوای مطرح شده از سوی بیمه شدهمدیریت ریسکریسک اعتباراعتبار سنجی برای دادن وام به مشتری بر اساس مدل پیش بینیکنترل کیفیتپیدا کردن الگوی مشکلات کیفی خطوط تولید در جهت کاهش محصولات مرجوعیدر س هوش تجاری – داده کاوی: فصل 13 کتاب نقشه راه هوش تجاری - دانشکده مهندسی کامپیوتر و فناوری اطلاعات دانشگاه صنعتی امیرکبیر - محمد رضا هراتی نیک

اسلاید 20: برنامه های کاربردی داده کاویسرویس های مالیحفظ مشتریحفظ مشتریان خوب برای بانک ها بسیار آسان تر از جذب مشتری جدید است.بازدهی سهامارائه مدل های بازدهی سهام در جهت مدیریت بهینه دارایی هاپخشکنترل موجودیارتقای کنترل موجودی با ساخت مدل پیش بینی در نقاط مهم برای پخش محصولاتدر س هوش تجاری – داده کاوی: فصل 13 کتاب نقشه راه هوش تجاری - دانشکده مهندسی کامپیوتر و فناوری اطلاعات دانشگاه صنعتی امیرکبیر - محمد رضا هراتی نیک

اسلاید 21: فعالیت ها و گامهای داده کاویدر س هوش تجاری – داده کاوی: فصل 13 کتاب نقشه راه هوش تجاری - دانشکده مهندسی کامپیوتر و فناوری اطلاعات دانشگاه صنعتی امیرکبیر - محمد رضا هراتی نیک

اسلاید 22: فعالیت ها و گامهای داده کاویخروجی فعالیت های داده کاویپایگاه داده مخصوص داده کاویاین پایگاه داده بر اساس نیازهای تحلیلی فراهم شده است و داده های آن از DB,DW تهیه می شود.مدل های تحلیل دادهمدل های تحلیلی بدست آمده و تست شده می تواند توسط الگوریتم هایی در ابزار داده کاوی موجود اند، مورد استفاده قرار بگیرند.افراد درگیر در فعالیت های داده کاوینماینده کسب و کار: افرادی که از خروجی های داده کاوی منفعت می برندمتخصص داد کاویمدیر پایگاه دادهمتخصص حوزه فعالیت کسب و کاردر س هوش تجاری – داده کاوی: فصل 13 کتاب نقشه راه هوش تجاری - دانشکده مهندسی کامپیوتر و فناوری اطلاعات دانشگاه صنعتی امیرکبیر - محمد رضا هراتی نیک

اسلاید 23: ریسک عدم انجام داده کاویعدم توجه به داده هایی که منابع ذخیره شده اند، سبب اتلاف منابع و نگه داری آنان می شود.عدم کشف دانش هایی در مورد رفتار، الگوها و ... در ارتباط با بازار، مشتریان و فعالین حوزه کسب و کاررقبااگر رقبا بستر داده کاوی را فراهم آورند و بتوانند به موارد زیر دست پیدا کنند:کاهش در هزینهافزایش منفعت و سوداتخاذ تصمیمات خلاقانهافزایش سهم بازاردر س هوش تجاری – داده کاوی: فصل 13 کتاب نقشه راه هوش تجاری - دانشکده مهندسی کامپیوتر و فناوری اطلاعات دانشگاه صنعتی امیرکبیر - محمد رضا هراتی نیکچه می شود؟از دست دادن مشتریان و شکست کسب و کار

اسلاید 24: در س هوش تجاری – داده کاوی: فصل 13 کتاب نقشه راه هوش تجاری - دانشکده مهندسی کامپیوتر و فناوری اطلاعات دانشگاه صنعتی امیرکبیر - محمد رضا هراتی نیکبا تشکر؟