دانش نوین داده‌کاوی

دانش نوین داده‌کاوی

اسلاید 1: دكتر جمال شهرابيعضو هي‍ات علمی دانشكده مهندسی صنايعدانشگاه صنعتی اميركبيرو دبير کنفرانس داده کاوي ايران1دانش نوين داده کاویکنفرانس داده کاوی ایران jamalshahrabi@aut.ac.irwww.irandatamining.ir

اسلاید 2: پيش گفتار2گستردگي روزافزون صنعت، تحولات ايجاد شده در فرهنگ و سلايق مردم، پيشرفت سريع تكنولوژي، بازار رقابتي، همگي لزوم بهره گيری هر چه بيشتر از دانش داده کاوی در مديريت صنايع را ايجاب مي كند.لزوم بهره برداري از اين دانش و منافع حاصل از آن به حدي است كه تمام صنايع را در سراسر دنيا وادار به سرمايه گذاريهاي كلان در بسط و توسعه سيستمهاي اطلاعاتي بطور عام و دانش داده کاوی بطور خاص نموده است.

اسلاید 3: پيش گفتار3ايجاد سيستمهاي اطلاعاتي در بستر IT نيازمند به كارگيري فن آوريها و راهكارهاي مختلف‌ بر اساس تكنولوژيهاي نوين نظیر داده کاوی مي باشد. داده کاوی به لحاظ ايجاد امكانات منحصر به فرد در سيستمها به سرعت جايگاه خود را در عرصه IT تثبيت كرده و يكي از اجزاء لازم الوجود تمام سيستمهای اطلاعاتی شده است.داده کاوی با پاسخگويي به بسياري از سئوالات مديريت، براي مديران افزايش راندمان ، كاهش هزينه ، امنيت اطلاعات ، بهينه سازي پروسه تصميم گيري ، كاهش نيروي انساني مورد نياز و از همه مهمتر رضايت و مشاركت بيشتر شهروندان را به ارمغان مي آورد.

اسلاید 4: ضرورت داده کاوی4علوم و مهندسي مدرن از اصول پايه اي و قوانين براي توصيف سيستم ها استفاده مي كند و از داده هاي تجربي براي بررسي صحت و سقم اين اصول و گاهي تخمين پارامترهايي كه اندازه گيري دقيق آنها غير ممكن است استفاده مي كند.اما در بعضي زمينه ها اصول بنيادي ناشناخته هستند ويا سيستم پيچيده تر از آن است كه بتوان آن را فرموله كرد، بنابراين با استفاده از داده هاي در دسترس مدل هايي به وسيله روابط بين متغير هاي سيستم توليد مي شود. درنتيجه امروزه يك تغيير از مدلسازي كلاسيك كه بر اساس اصول بنيادي بود به مدلسازي پيشرفته و تجزيه و تحليل مستقيم از داده به وجود آمد.

اسلاید 5: ضرورت داده کاوی5امروزه میزان داده های در دسترس هر 3 سال دو برابر می شوند و سازمانی توانااست که قادر باشد دانش حداقل 7 درصد از داده های خود را کاوش نماید. امروزه سازمان ها از یک سو غرق در داده بوده و از سوی دیگر از فقر دانش درون داده رنج میبرند. تصمیم سازان در جمع آوری داده غنی ولی در بهره برداری از دانش درون داده ها برای ساختن تصمیمات صحیح ناتوان هستند. امروزه حجم شگرفي از داده ها زندگي ما را پر كرده اندكه مديريت و تجزيه و تحليل آنها مشكل است و ما در حقيقت از بخش كوچكي از آنها استفاده مي كنيم زيرا يك برنامه كه شامل چگونگي تجزيه و تحليل آنها باشد وجود ندارد و هميشه تلاش اصلي بر ذخيره سازي داده ها مي باشد.

اسلاید 6: نتایج یک پژوهش: تاکیدی بر ضرورت داده کاوی661% مدیران معتقدند که داده های بسیار زیاد در حوزه کارشان موجود است.80% معتقدند که این وضعیت منجر به خطا می شود.بیش از 50% مدیران در فرآیندهای تصمیم گیری جاری خود، به دلیل زیادی داده ها بسیاری از آنهارا نادیده می گیرند. 84% مدیران این اطلاعات را برای آینده ذخیره می کنند، و آن ها را برای آنالیزهای جاری بکار نمی برند.60% معتقدند که هزینه جمع آوری اطلاعات از ارزش مفید آن ها بیشتر است.

اسلاید 7: داده كاوي چيست؟7توانايي اقتباس اطلاعات مفيد كه در داده ها مخفي است و به كار گرفتن اين اطلاعات ، در جهان رقابتي امروز اهميت فزاينده اي يافته است. يك پروسه كامل از به كار گيري روش ها و تكنيك هاي جديدي براي كشف اطلاعات از داده ها داده كاوي نام دارد.داده كاوي ماهيتا“ شبيه به حل يك پازل است. داده ها به صورت تكي ساده ،كامل و قابل توضيح هستند اما به صورت كلي دركشان سخت است و داده کاوی راه حل است.تکنولوژی جدید داده کاوی جایگزین روش های پردازش و تفسیر کلاسیک (هم دستی و هم کامپیوتری) است.

اسلاید 8: داده کاوی8بر اساس اعلام دانشگاه MIT ، دانش داده کاوی یکی از ده دانش در حال توسعه ای است که دهه آینده را با انقلاب تکنولوژیک مواجه خواهد ساخت و بدین رو در سالهای اخیر در دنیا گسترش فوق العاده سریعی داشته است.دانش داده کاوی در سالهای گذشته همواره از جمله ده دانش برتر دنیا بوده است.دانش داده کاوی فر ایند کشف دانش پنهان درون داده ها است که با برخورداری از دامنه وسیع زیر زمینه های تخصصی با توصیف ، تشریح ، پیش بینی پدیده های گوناگون پیرامونی، امروزه دارای کاربرد بسیار وسیع در حوزه های مختلف صنعتی ، ارتباطات ، کشاورزی ، پزشکی ،انرژی ، علوم اجتماعی ، فرهنگی ، سیاسی ، اقتصادی ، بازرگانی ، نظامی ، مدیریت شهری ، آموزشی و ... است.

اسلاید 9: داده کاوی9داده کاوی عبارت است از کشف روشها و الگوهایی ویژه در پایگاه داده های بزرگ، برای هدایت تصمیم گیری در مورد فعالیت های آینده.الگوهای ارایه شده می توانند درک مفید و غیر قابل انتظاری در اختیار یک تحلیل گر داده قرار دهند.امروزه مرز و محدودیتی برای کاربرد این دانش متصور نبوده و زمینه های کاربردی این دانش در تمامی عرصه های برخوردار از داده وجود دارد.

اسلاید 10: نقش داده کاوی 10ذخیره ساز داده ها برای هر سازمان مثل یک حافظه عمل می کند ولی حافظه بدون هوش و آگاهی فایده چندانی ندارد. آگاهی به ما اجازه می دهد در حافظه های قبلی خود جستجو کنیم، به الگوهای خاصی توجه نمائیم، قوانینی را ایجاد کنیم، به ایده های جدیدی برسیم، سوالهای درستی را مطرح کنیم و پیش بینی هایی درباره آینده انجام دهیم. تکنیکهای داده کاوی موجب افزایش آگاهی در ذخیره سازی داده ها میشوند.

اسلاید 11: مزایای داده کاوی11بر نتابیدن فرض های ساده کننده مانند فرض استقلال با فرض وابستگی احتمالی همه پدیده هادینامیک بودنآنالیزهای همزمانعدم نیاز به بومی سازیعدم نیاز به اعتبارسنجیدوری از اشکالات حاصل از نمونه گیری عدم نیاز به فرضیهآنالیز داده های واقعی و نه توزیع داده هاایجاد مدل های کاملا واقعی ......

اسلاید 12: سازمان های موفق دنیا: سازمان های بهره مند از دانش داده کاوی1210 نفر اول ثروتمند ترين افراد در امريکا گوگلوال مارتآمازونای بی

اسلاید 13: خاستگاه داده کاوی13طبیعتاً تجارتهای کوچکی که مدیریت خوبی دارند می توانند به نحوه ایجاد رابطه با مشتریانشان پی ببرند. آنها با گذشت زمان درباره مشتریانشان به چیزهای بیشتر و بیشتری پی خواهند برد و از آن دانش برای خدمت بهتر به مشتریان استفاده خواهند نمود و نتیجه کار، مشتریان وفادار و خرسند و تجارتهای سودآور خواهد بود.شرکتهای بزرگ با صدها هزار یا میلیونها نفر مشتری از مزیت برقراری روابط شخصی حقیقی با تک تک مشتریانشان بی بهره اند. این موسسات عظیم باید به وسایل دیگری برای برقراری رابطه با مشتریانشان تکیه نمایند. آنها باید یاد بگیرند که از آنچه که به وفور دارند نهایت بهره را ببرند یعنی داده هایی که از طریق تعامل با تک تک مشتریان به دست آمده است.

اسلاید 14: خاستگاه داده کاوی14دانش نوین داده کاوی با برخورداری از تکنیکهای تحلیلی گسترده، برای تبدیل داده های مشتریان به دانش درباره مشتریان استفاده میشود.تکنیکهای داده کاوی امکان استفاده از انبوه داده هایی را که از طریق تعاملات با مشتریان و ارباب رجوعها به منظور شناخت بهتر آنها فراهم شده به شرکتها میدهد.

اسلاید 15: خاستگاه داده کاوی15احتمال وفادار ماندن یک مشتری درمورد چه کسی زیاد است و احتمالاً چه کسی وفادار نخواهد بود؟ چه محصولاتی را برای چه مشتریان بالقوه ای باید عرضه نمود؟ چه چیزی تعیین می کند که آیا فرد به محصول خاصی پاسخ می دهد یا نه؟ چه وقت باید شعبه بعدی را ایجاد نمود؟ محصول یا خدمات بعدی که این مشتری می خواهد کدام است؟ پاسخ به سوالاتی از این دست در بطن داده های هر سازمان قرار دارد و به ابزارهای قوی داده کاوی نیاز است تا به آنها رسید. ابزار و تکنیهای داده کاوی بیان شده در این ارائه در همه زمینه ها و حوزه های دیگر یکسان عمل می کنند.

اسلاید 16: بیشتر تکنیکهای داده کاوی حداقل به عنوان الگوریتمهای آکادمیک از سالها یا دهه های قبل وجود داشته اند. تنها در دهه اخیر است که داده کاوی تجاری نقش عمده ای را بازی کرده است.این مسئله به خاطر همزمانی چندین عامل زیر است:داده ای که ایجاد شده است.داده ای که ذخیره شده است.توان محاسباتی قابل دسترسی است.16عوامل توسعه داده کاوی

اسلاید 17: داده ای که ایجاد شده استداده کاوی هنگامی بیشترین معنی را پیدا می کند که داده های زیادی وجود داشته باشد. اغلب الگوریتم های داده کاوی نیازمند میزان زیادی از داده ها هستند تا مدلهایی را ترتیب دهند که بعداً برای دسته بندی، تخمین، پیش بینی یا سایر کارکردهای داده کاوی مورد استفاده قرار گیرند.17عوامل توسعه داده کاوی

اسلاید 18: صنایعی نظیر مخابرات و کارتهای اعتباری به مدت طولانی روابط تعاملی و اتوماتیک با مشتریان داشته اند و اطلاعات تعاملی زیادی را جمع آوری نموده اند. تنها اخیراً اتوماتیک شدن زندگی روزمره در تمامی زمینه ها بسیار رایج گشته است. امروزه از طرق مختلف داده تولید شده و جمع آوری می شود مانند: افزایش ثبت الکترونیک فروش فروشگاههاماشینهای اتوماتیک سخنگو18عوامل توسعه داده کاوی

اسلاید 19: داده ای که ذخیره شده است در فرایند ذخیره سازی داده ها، داده ها از منابع بسیار متفاوتی به شکل واحدی با تعاریف ثابت جمع آوری می گردد. ذخیره ساز داده ها باید بصورت عمده بگونه ای طراحی شود که عمل داده کاوی را تسهیل نماید. 19عوامل توسعه داده کاوی

اسلاید 20: توان محاسباتی قابل دسترسی استالگوریتم های داده کاوی معمولاً نیازمند عبور چندگانه از میزان عظیم داده هاست. بیشتر آنها از نظر محاسباتی فشرده هستند. کاهش شدید و مداوم در قیمت کامپیوتر انجام تکنیکهایی را عملی ساخته که امروزه با کامپیوتر های معمولی نیز قابل انجام است.20عوامل توسعه داده کاوی

اسلاید 21: ارائه موفق نرم افزارهای مدیریتی پایگاه داده ها از جانب تولید کنندگان عمده مانند اوراکل، ترادیتا و آی بی ام این توان را ایجاد کرده که فرآیندهای موازی در بسیاری از مراکز داده ای شرکتها برای اولین بار انجام شود. این برنامه سرور پایگاه داده های موازی، فراهم کننده محیط عالی برای داده کاوی در مقیاس بزرگ می باشد.21عوامل توسعه داده کاوی

اسلاید 22: دستاوردهای پیاده سازی سیستمهای داده کاوی در سازمانها22سرعت در تحليل اطلاعات و افزايش كيفيت نتايج تحليل هاشناسايي سريع فرصتها و تهديدها بهره گیری از سيستمهاي داده كاوي با كاربري آسانايجاد امكان استفاده از ابزارهاي متنوع داده كاويافزایش قدرت تحليل در سازمان بهمراه افزايش صحت تحليلايجاد فضايي شفاف در سازمان براي تصميم گيري صحيح در تمامی رده های مدیریتی بویژه بهبود تصميم گيري مديران ارشد

اسلاید 23: داده کاوی سازمانی23(ODM ( Organization Data Mining به عنوان ابزار استخراج دانش اتکاپذیر از داده ها تعریف شده است. فن آوری است که فرایند تصمیم گیری را بوسیله دگرگون ساختن داده ها به سوی دانش ارزشمند درجهت کسب یک مزیت رقابتی سوق می دهد.بعنوان شیوه بکاربردن ابزارهای داده کاوی تعریف شده است.پردازش بهینه تصمیم گیری را در سازمان ها تسهیل می نماید.بکار بستن ODM سازمانها را قادر می سازد تا نسبت به آینده سریع تر عمل نمایند، فعال باشند بجای آنکه واکنش پذیر باشند و بدانند بجای آنکه حدس بزنند . واضح است که با داشتن این قابلیت ، سازمان ها قادر می باشند دانش ارزشمندی را از داده هایشان بدست آورند.

اسلاید 24: جایگاه داده کاوي در فرآيند کشف دانش

اسلاید 25: 1- پاکسازی داده ها( Data Cleaning )2- يکپارچه سازی داده ها (Data Integration )3- انتخاب داده ها (Data Selection )4- تبديل کردن داده ها (Data Transformation )5- داده کاوی (Data Mining)6-ارزيابی الگو (Pattern Evaluation )7-ارائه دانش(Knowledge Presentation ) مراحل کشف دانش

اسلاید 26: سير تاريخي از جمع آوري داده تا داده کاوي

اسلاید 27: قدم هاي يازده گانه داده کاوي27

اسلاید 28: تبدیل مسئله تجارت به مسئله داده کاویانتخاب داده های مناسبشناخت داده هاتهیه داده های مدلرفع مشکلات با استفاده از داده هاتبدیل داده هاتهیه مدلهاارزیابی مدلهاپیاده سازی مدلهاارزیابی نتایجقدم هاي يازده گانه داده کاوي

اسلاید 29: چرخه تعالی داده کاوی29

اسلاید 30: فرایند داده کاوی 30

اسلاید 31: 31داده کاوی مكان محور در دهه اخیر هر ساله جزء ده الویت نخستین تحقیقات امریکا بوده است.نياز به داشتن آگاهي ازتوزيع مكاني پديده ها و تعيين ميزان وابستگی و تاثير آنها بر روی هم، منجر به ايجاد وگسترش داده کاوی مكان محور گشته است.داده کاوی مكان محور در تمام صنايع و رشته هايي كه پديده ها را مي بايست به صورتی حوزه بندی شده و با در نظر گيری فاكتور” زمان”، “مكان” و يا “زمان- مكان” بررسی كنند استفاده می‌شود. از آنجا كه سيستمهاي GIT در برگيرنده اطلاعات مكانی و بافت جغرافيايی شهرها، جاده ها و خيابانها مي باشند، با هوشمند نمودن تمامی برنامه های كاربردی به اطلاعات مكانی- زمانی، امكان بهره گيری از داده های مكان محور در اين برنامه‌ها نيز ايجاد می‌گردد. داده کاوی مکان محور/ تكنولوژي اطلاعات مكاني Spatial Data Mining / Geo- Information Technology

اسلاید 32: 32داده کاوی در دو نوع ظاهر می شود: هدایت شده غیر هدایت شدهداده کاوی هدایت شده می خواهد برخی از زمینه های هدف خاص را بیان یا دسته بندی کند. هدف داده کاوی غیر هدایت شده یافتن الگوها یا تشابهات بین گروههایی از اطلاعات بدون استفاده از زمینه هدف خاص یا مجموعه ای از دسته های از پیش تعیین شده می باشد.انواع داده کاوی 

اسلاید 33: مدل های داده کاوی33داده کاوی عمدتاً با ساختن مدلها مرتبط است. یک مدل اساساً به الگوریتم یا مجموعه ای از قوانینی گفته می شود که مجموعه ای از ورودی ها را با هدف یا مقصد خاصی مرتبط می نماید. انواع مدل های داده کاوی:مدل داده کاوی توصیفی مدل داده کاوی تشریحیمدل داده کاوی پیش بینیمدل داده کاوی کنترلی

اسلاید 34: با داده کاوی چه کارهایی می توان انجام داد؟ 34دسته بندیتخمینپیش بینیدسته بندی شباهتخوشه بندیتوصیف و نمایه سازی

اسلاید 35: 35با تشکر