دانش نوین داده‌کاوی

صفحه 1:
201011101 دانش نوين داده كاوى دكتر جمال شهرابي عضو هیات علمی دانشکده مهندسی صنایع دانشگاه صنعتی امیرکبیر و دبیر کنفرانس داده كاوي ایران 

صفحه 2:
* گستردگی روزافزون صنعت. تحولات ایجاد شده در فرهنگ و سلایق مردم. پیشرفت سریع تکنولویی» بازار رقابتی» همگی لزوم بهره گیری هر چه بیشتر از دانش داده کاوی_در مدیریت صنایع را ایجاب می کند. * لزوم بهره برداری از این دانش و منافع حاصل از آن به حدی است که تمام صنایع را در سراسر دنیا وادار به سرمایه گذاریهای کلان در بسط و توسعه سیستمهای اطلاعاتی بطور عام و دانش داده کاوی_بطور خاص نموده است. 

صفحه 3:
© ایجاد سیستمهای اطلاعاتی در بستر ۲] نیازمند به کارگیری فن آوریها و راهکارهای مختلف بر اساس تکنولوژیهای نوین نظیر داده کاوی می باشد. © داده کاوی به لحاظ ایجاد امکانات منحصر به فرد در سیستمها به سرعت جایگاه خود را در عوضه ۲] تخبیت کرده و یکی از اجزاء لازم الوجود تمام سیستتهای اطلاعاتی شده است. © داده کاوی با پاسخگویی به بسیاری از سئوالات مدیریت. برای مدیران افزایش راندمان » کاهنش هزینه » امنیت اطلاعات » بهینه سازی پروسه تصمیم گیری ۰ کاهش نیروی انسانی مورد نیاز و از همه مهمتر رضلیت و مشارکت بیشتر شهروندان زا نه اروك ادقع درق 

صفحه 4:
ضرورت داده کاوی علوم و مهندسی مدرن از اصول پایه ای و قوانین برای توصیف سیستم ها استفاده می کند و از داده های تجربی برای بررسی صحت و سقم لين اصول و كاهى تخمين بارامترهايى كه اندازه كيرى دقيق آنها غير ممكن است استفاده مى اما رتبقضی ومیته ها اصول بتیادی عاشباته :هسسه ویا سیستم پیچیده تر از آن است که بتوان آن را فرموله کرد بنابرلین با استفاده از داده های در دسترس مدل هلیی به وسیله رولبط بین متغیر های سیستم تولید می شود. درنتیجه امروزه یک تغییر از مدلسازی کلاسیک که بر اساس اصول بنیادی بود به مدلسازی پیشرفته و تجزیه و تحلیل مستفیم از داده به وجود آمد. 

صفحه 5:
ضرورت داده کاوی = امروزه میزان داده های در دسترس هر 9 سال دو برابر می شوند و سازمانی توانااست که قادر باشد دانش حداقل 2" درصد از داده های خود را کاوش نماید. امروزه سازمان ها از یک سو غرق در داده بوده و از سوی دیگر از فقر دانش درون داده رنج میبرند. تصمیم سازان در جمع آوری داده ‎ly‏ در بهره برداری از دانش درون داده ها برای ساختن تصمیمات صحیح ناتوان هستند. امروزه حجم شگرفي از داده ها زندگي ما را پر کرده اندکه مدیریت و تجزیه و تحلیل آنهاً مشکل است و ما در حقیقت از بخش كوچكي از أنها استفاده مي كنيم زيرا يك.برئاسه كه شامل جكودكي تجزيه و تحليل آنها باشد وجود ندارد و هميشه تلاش اصلي بر ذخيره سازي داده ها مي باشد. 

صفحه 6:
نتایج یک پژوهش: تاکیدی بر ضرورت داده کاوی ‎<n‏ 2 0096 مدیران معتقدند که داده های بسیار زیاد در حوزه کارشان موجود است. 7 0096 معتقدند که اين وضعیت منجر به خطا می شود. 7 بیش از 90600 مدیران در فرآیندهای تصمیم گیری جاری خود» به دلیل زیادی داده ها بسیاری از آنهارا نادیده مى كيرند. 7 6696 مديران اين اطلاعات را براى آينده ذخبره می کنند» و آن ها را برای آنالیزهای جاری بکار نمی برند. 7 60960 معتقدند که هزینه جمع آوری اطلاعات از ارزش مفید آن ها بیشتر است. 

صفحه 7:
داده کاوی چیست؟ توا اس اطلاعات مفید که در داده ها مخفي است و به کار كرفي أين اطلاعات : در جهان ابتي امروز اهمیت فزاینده اي یافته است اال و شا و لسر براي کشف اطلاعات از داده ها داده كاوي نام دارد. ۲ داده كاوي ماهیتا" شبیه به حل يك پازل است. داده ها به صورت تكي ساده »کامل و قابل توضیح هستند آماً به صورت کلي درکشان سخت است و داده کاوی راه حل است. ۱ 5 تکنولوژی جدید داده کاوی جایگزین روش های پردازش و تفسیر کلاسیک (هم دستی و هم کامپیوتری) است. 

صفحه 8:
اب تکنولوژیک مواجه خواهد ساخت و بدین رو در سالهای اخیر در دنا گسترش فوق العاده سریعی داشته است. دانش ‎wale‏ كلو دز سالها كثفته هموازة ان جملهادهادانقن بزتز دتيا بده اسع دانش داده کاوی فر ایند کشف دانش پنهان درون داده ها است كه با برخورداری از دامنه وسیع زیر زمینه های تخصصی با توصیف » تشریح ۰ پیش بینی پدیده های گوناگون پیرامونی» امروزه دارای کاربرد بسیار وسیع در حوزه های مختلف صنعتی ۰ ارتباطات » کشاورزی » پزشکی »انرژی » علوم اجتماعی ؛ فرهنگی » سیاسی ۰ اقتصادی » بازرگانی ۰ نظامی » مدیربت شهری ۰ آموزشی sl ... ‏و‎ 

صفحه 9:
داده کاوی اث اتج ‎٠‏ داده كاوى عبارت است از كشف روشها و الكوهايى ويه در بايكاه داده هاى بزرك» براى هدايت تصميم كيرى در مورد فعاليت هاى آينده. ‎٠‏ الكوهاى ارايه شده مى توانند درك مفيد و غير قابل انتظاری در اختیار یک تحلیل گر داده قرار دهند. ‏* امروزه مرز و محدودیتی برای کاربرد این دانش متصور نبوده و زمینه های کاربردی اين دانش در تمامی عرصه های برخوردار از داده وجود دارد. 

صفحه 10:
25 نقش داده کاوي سس << ات 7 ذخیره ساز داده ها برای هر سازمان مثل یک حافظه عمل می کند ولی حافظه بدون هوش و آگاهی فایده چندانی ندارد. 7 آگاهی به ما اجازه می دهد در حافظه های قبلی خود جستجو کنیم» به الگوهای خاصی توجه نمائیم» قوانینی را ایجاد کنیم» به ایده های جدیدی برسیم» سوالهای درستی را مطرح کنیم و پیش بینی هایی درباره آینده انجام دهیم. 7 تکنیکهای داده کاوی موجب افزایش آگاهی در ذخیره سازی داده ها میشوند. 

صفحه 11:
مزاياى داده كاو ى ae ob 8 5 8 8 25-8 بر فرض هاى ساده كننده مانند فرض استقلال احتمالى همه يديده ها دینامیک بودن آناليزهاى همزمان عدم نياز به بومى سازى عدم نياز به اعتبارسنجى دورى از اشكالات حاصل از نمونه كيرى عدم نياز به فرضيه آناليز داده هاى واقعى و نه توزيع داده ها ايجاد مدل هاى كاملا واقعى 

صفحه 12:
سازمان های موفق دنیا: سازمان های بهره مند از دانش داده کاوی ‎٠١ "7‏ نفر اول ثروتمند ترین افراد در امریکا 7 گوگل ‏" وال مارت ‏۲ آمازون ۲ ای بی 

صفحه 13:
خاستگاه داده کاوی تجارتهای کوچکی که مدیریت خوبی دارند می توانند به نحوه ایجاد رابطه با مشتریانشان پی ببرند. آنها با گذشت زمان درباره مشتریانشان به چیزهای بیشتر و بیشتری پی خواهند برد و از آن دانش برای خدمت بهتر به مشتریان استفاده خواهند نمود و نتیجه کارء مشتریان وفادار و خرسند و تجارتهای سودآور خواهد بود. ۲ شرکتهای بزرگ با صدها هزار یا میلیونها نفر مشتری از مزیت برقراری روابط شخصی حقیقی با تک تک مشتریانشان بی بهره اند. این موسسات عظیم باید به وسایل دیگری برای برقراری رابطه با مشتریانشان تکیه نمایند. آنها باید یاد بگیرند که از آنچه که به وفور دارند نهایت بهره را ببرند یعنی داده هایی که از طریق تعامل با تک تک مشتریان به دست آمده است. 

صفحه 14:
خاستگاه داده کاوی 7 دانش نوین داده کاوی با برخورداری از تکنیکهای تحلیلی گسترده؛ برای تبدیل داده های مشتریان به دانش درباره مشتریان استفاده میشود. 2 تکنیکهای داده گاوی امکان استفاده از انبوه داده هایی را که از طریق تعاملاث با مشتریان و ارباب رجوعها به منظور شناخت بهتر آنها فراهم شده به شرکتها میدهد. 

صفحه 15:
خاستگاه داده کاوی و 8 6 5 5 احتمال وفادار ماندن یک مشترى درمورد جه كسى زياد است و احتمالاً جه كسى وفادار نخواهد بود؟ جه محصولاتى را براى جه مشتريان بالقوه اى بايد عرضه نمود؟ جه جيزى تعيين مى كند كه آيا فرد به محصول خاصى ياسخ مى دهد يا نه؟ جه وقت بايد شعبه بعدى را ايجاد نمود؟ محصول يا خدمات بعدى كه اين مشترى مى خواهد كدام اسث؟ پاسخ به سوالاتى از اين دست در بطن داده هاى هر سازمان قرار دارد وابه ابزارهاى قوى داده كاوى نياز است تا به آنها رسيد. ابزار و تكنيهاى داده كاوى بيان شده در اين ارائه در همه زمينه ها و حوزه هاى ديكر يكسان عمل مى كنند. 

صفحه 16:
عوامل توسعه داده کاوی 6 بیشتر تکنیکهای داده کاوی حداقل به عنوان الگوریتمهای آکادمیک از سالها یا دهه های قبل وجود داشته اند. 6 تنها در دهه اخیر است که داده کاوی تجاری نقش عمده ای را بازی کرده است. 6 اين مسئله به خاطر همزمانی چندین عامل زیر است: ۰ داده ای که ایجاد شده است. ۰ داده ای که ذخیره شده است. ۰ توان محاسباتی قابل دسترسی است. 

صفحه 17:
عوامل توسعه داده کاوی 7 داده ای که ایجاد شده است داده کاوی هنگامی بیشترین معنی را پیدا مى كند كه داده های زیادی وجود داشته باشد. ۵ اغلب الگوریتم های داده کاوی نیازمند میزان زیادی از داده ها هستند تا مدلهایی را ترتیب دهند که بعداً برای دسته بندی» تخمین؛ پیش بینی یا سایر کارکردهای داده کاوی مورد استفاده قرار گیرند. 

صفحه 18:
عوامل توسعه داده کاوی اررربربرببببيبييييُاالااااااالاالاالال ااا ااا تا © صنايعى نظير مخابرات و كارتهاى اعتبارى به مدت طولانى روابط تعاملى و اتوماتيك با مشتريان داشته اند و اطلاعات تعاملی زیادی را جمع آوری نموده اند. 8 تنها اخیرا اتوماتیک شدن زندگی روزمره در تمامی زمینه ها بسیار رایج گشته است. 6 امروزه از طرق مختلف داده تولید شده و جمع آوری می شود مانند: * افزايش ثبت الکترونیک فروش فروشگاهها »۰ ماشینهای اتوماتیک سخنگو 

صفحه 19:
عوامل توسعه داده کاوی 7 داده ای که ذخیره شده است @ در فرایند ذخیره سازی داده هاء داده ها از منابع بسیار متفاوتی به شکل واحدی با تعاریف ثابت جمع آوری می گردد. 6 ذخیره ساز داده ها باید بصورت عمده بگونه ای طراحی شود که عمل داده کاوی را تسهیل نماید. 

صفحه 20:
عو 5 توسعد داده کاري ع نت ] 2“ توان محاسباتی قابل دسترسی است ۵ الگوریتم های داده کاوی معمولاًنیازمند عبور چندگانه از میزان عظیم داده هاست. © بيشتر آنها از نظر محاسباتى فشرده هستند. © کاهش شدید و مداوم در قیمت کامپیوتر انجلم تکنیکهایی را عملى ساخته كه امروزه با کامپیوتر هلی معمولی نیز قابل انجام است. 

صفحه 21:
عوامل توسعه داده کاوی << © ارائه موفق نرم افزارهای مدیریتی پایگاه داده ها از جانب تولید کنندگان عمده مانند اوراکل» ترادیتا و آی بی ام اين توان را ایجاد کرده که فرآیندهای موازی در بسیاری از مراکز داده ای شرکتها برای ‎Gals!‏ بار انجام شود. @ این برنامه سرور پایگاه داده های موازی» فراهم کننده محیط عالی برای داده کاوی در مقیاس بزرگ می باشد. 

صفحه 22:
دستاوردهای پیاده سازی سیستمهای داده کاوی در سازمانها جربب 5ُ7بببا7 لل لللاااللل ل ار 39 سرعت در تحليل اطلاعات و افزايش كيفيت نتايج تحليل ها شناسايى سريع فرصتها و تهديدها بهره كيرى از سيستمهاى داده كاوى با كاربرى آسان ايجاد امكان استفاده از ابزارهاى متنوع داده كاوى افزايش قدرت تحليل در سازمان بهمراه افزايش صحت ايجاد فضايى شفاف در سازمان براى تصميم كيرى صحيح در تمامى رده هاى مديريتى بويزه بهبود تصميم كيرى مديران ارشد 

صفحه 23:
داده کاوی سازماذ ی ‎ODM ( Organization Data Mining) °‏ به عنوان ابزار استخراج دانش اتکاپذیر از داده ها تعریف شده است. ‏فن آوری است که فرایند تصمیم گیری را بوسیله دگرگون ساختن داده ها به ‏سوی دانش ارزشمند درجهت کسب یک مزیت رقابتی سوق می دهد. ‎a ‏بعنوان شيوه بكاربردن ابزارهاى داده كاوى تعريف شده است. ‏يردازش بهينه تصميم كيرى را در سازمان ها تسهيل مى نمايد. ‏بكار بستن 0101/1 سازمانها را قادر مى سازد تا نسبت به آينده سريع تر عمل نمايند. فعال باشند بجاى آنكه واكنش يذير باشند و بدانند بجاى آنكه حدس پزنند ‎ao ‎ ‏واضع است که با داشتن این قابلیت ».سازمان ها قادر می باشند دانفن ارزشمندی را از داده هایشان بدست آورند. ‎ 

صفحه 24:
جایگاه داده کاوی هدنخ 3 

صفحه 25:
مراحل کشف دانش ۱- پاکسازی داده هلد ‎(Data Cleaning‏ ۲- یکپارچه سازی داده ها ۱8۲۵0۲۵10۳ 022) ۳- انتخاب داده ها 561661100 23688 ) (Data Transformation. oslo ‏تبدیل کردن‎ -۴ (Data Mining, ‏داده کاوی‎ -۵ ۶-ارزیابی الگو ۴۷۵۱۵۵10۳0 ‎(Pattern‏ (Knowledge Presentation), jlo i1,-V 

صفحه 26:
سیر تاریخی از جمع آوری داده تا داده کاوی ۳ Technolog Celery Data Evolution 7 Computer | How much is the total incom Data collection Tapes & 2of a person in last year 1960s Disks ‘ Relational | How many units of a spesific Dala‘Access: Database product were sold during 1980s ODBC,SQL ?last month How many units of a specific product wore sold dusing Data warehouse DSS OLAP,DW last month ۳ In comparison with other ?stores Perofessional ‏مع نی‎ What will happened in next Data Mining ?month shell Now processor computer 

صفحه 27:
قدم های بازده گانه داده کاوی 

صفحه 28:
قدم های بازده گانه داده کاوی "" تبدیل مسئله تجارت به مسئله داده کاوی 7" انتخاب داده های مناسب ل شناخت داده ها ل تهیه داده های مدل ل رفع مشکلات با استفاده از داده ها ل تبدیل داده ها تهيه مدلها 7 ارزیابی مدلها 7" پیاده سازی مدلها 2 ارزیابی نتایج 

صفحه 29:
چرخه تعالی داده کاوی 

صفحه 30:
فرایند داده کاوی teak ‎re‏ ا تک ره ‎Gs‏ اس ‎ ‏تسس ‎meena cle,‏ ‎aw‏ ‏من بیش ید ‎ ‏ییاز ‏لوب ‏اراد ۱ ‎ ‎ ‎ ‎ ‎ ‎ ‎ 

صفحه 31:
داده کاوی مکان محور | تکنولوژی اطلاعات مکانی ‎Gputd Ota Diatay / Bev- IePorwutod Teckolow‏ ل داده کاوی مکان محور در دهه اخیر هر ساله جزء ده الویت نج ‎ae‏ بوده است. نیاز به داشتن آگاهی ازتوزیع مکانی پدیده ها و تعیین میزان وابستگی و تاثیر آنها بر روی هم. منجر به ایجاد و گسترش داده کاوی مکان محور گشته است. داده کاوی مکان محور در تمام صنایع و رشته هایی که پدیده ها را می بایست به صورتی حوزه بندی شده و با در نظر گیری فاکتور" زمان "» "مکان" و یا "زمان- مکان" بروسبی کنند. استفاده می‌شود. 7" از آنجا که سیستمهای 2/7) در برگیرنده اطلاعات مکانی و بافت جغرافیاییی شهرها جاده ها و خیابانها می باشند. با هوشمند نمودن تمامی برنامه های کاربردی به اطلاعات مکانی- زمانی؛ امکان بهره گیری از داده های مکان محور در این برنامه‌ها نیز ایجاد می‌گردد. 

صفحه 32:
انواع داده کاوی © داده کاوی در دو نوع ظاهر می شسود: © هدايت شده © غير هدايت شده © داده كاوى هدليت شده مى خواهد برخى از زمینه های هدف خاص را بیان یا دسته بندى كند. © هدف داده كاوى غير هدليت شده يافتن الكوهايا تشابهات بين كروههايى از اطلاعات بدون استفاده از زمينه هدف خاص يا مجموعه اى از دسته هاى از بيش تعيين شده مى باشد. 

صفحه 33:
مدل های داده کاوی داده کاوی عمدتآًبا ساختن مدلها مرتبط است.یک مدل اساسأّبه الگوریتم یا مجموعه ای از قوانینی گفته می شود که مجموعه ای از ورودی ها رابا هدف ییا مقصد خاصی مرتبط مى نماید. © انواع مدل های داده کاوی: * مدل داده کاوی توصیفی * مدل داده کاوی تشریحی * مدل داده کاوی پیش بینی * مدل داده کاوی کنترلی 

صفحه 34:
a با داده کاوی چه کارهایی می توان انجام داد؟ دسته بندی دسته بندی شباهت خوشه بندی توصیف و نمایه سازی 

صفحه 35:


1 کنفرانس داده کاوی ایران دانش نوين داده کاوی دكتر جمال شهرابي عضو هي‍ات علمی دانشكده مهندسی صنايع دانشگاه صنعتی اميركبير و دبير کنفرانس داده کاوي ايران ‏jamalshahrabi@aut.ac.ir ‏www.irandatamining.ir پيش گفتار گس تردگي روزافزون ص نعت ،تحوالت ايجاد شده در فرهن گ و ساليق مردم ،پيشرفت سريع تكنولوژي ،بازار رقابتي ،همگي لزوم بهره گيری هر چه بيشتر از دانش داده کاوی در مديريت صنايع را ايجاب مي كند. لزوم بهره برداري از اين دانش و منافع حاصل از آن به حدي است كه تمام صنايع را در سراسر دنيا وادار به سرمايه گذاريهاي كالن در بسط و توسعه سيستمهاي اطالعاتي بطور عام و دانش داده کاوی بطور خاص نموده است. 2 پيش گفتار ايجاد سيستمهاي اطالعاتي در بستر ITنيازمند به كارگيري فن آوريها و راهكارهاي مختلف‌ بر اساس تكنولوژيهاي نوين نظیر داده کاوی مي باشد. داده کاوی به لحاظ ايجاد امكانات منحصر به فرد در سيستمها به سرعت جايگاه خود را در عرص ه ITتث بيت كرده و يك ي از اجزاء الزم الوجود تمام س يستمهای اطالعاتی شده است. داده کاوی ب ا پاس خگويي ب ه بس ياري از س ئواالت مديري ت ،براي مديران افزاي ش راندمان ،كاه ش هزين ه ،امني ت اطالعات ،بهين ه س ازي پروس ه تص ميم گيري ، كاهش نيروي انساني مورد نياز و از همه مهمتر رضايت و مشاركت بيشتر شهروندان را به ارمغان مي آورد. 3 ضرورت داده کاوی • • • علوم و مهندس ي مدرن از اص ول پاي ه اي و قواني ن براي توصيف سيستم ها استفاده مي كند و از داده هاي تجربي براي بررسي صحت و سقم اين اصول و گاهي تخمين پارامترهايي كه اندازه گيري دقيق آنها غير ممكن است استفاده مي كند. اما در بعضي زمينه ها اصول بنيادي ناشناخته هستند ويا سيستم پيچيده تر از آن است كه بتوان آن را فرموله كرد ،بنابراين با استفاده از داده هاي در دسترس مدل هايي به وسيله روابط بين متغير هاي سيستم توليد مي شود. درنتيجه امروزه يك تغيير از مدلسازي كالسيك كه بر اساس اصول بنيادي بود به مدلسازي پيشرفته و تجزيه و تحليل مستقيم از داده به وجود آمد. 4 ضرورت داده کاوی • • • ‏ امروزه میزان داده های در دسترس هر 3سال دو برابر می شوند و سازمانی توانااست که قادر باشد دانش حداقل 7درصد از داده های خود را کاوش نماید. امروزه سازمان ها از یک سو غرق در داده بوده و از سوی دیگر از فقر دانش درون داده رنج میبرند. تصمیم سازان در جم ع آوری داده غن ی ولی در بهره برداری از دانش درون داده ها برای ساختن تصمیمات صحیح ناتوان هستند. امروزه حجم شگرفي از داده ها زندگي ما را پر كرده اندكه مديريت و تجزيه و تحليل آنها مشكل است و ما در حقيقت از بخش كوچكي از آنها استفاده مي كنيم زيرا يك برنامه كه شامل چگونگي تجزيه و تحليل آنها باشد وجود ندارد و هميشه تالش اصلي بر ذخيره سازي داده ها مي باشد. 5 نتایج یک پژوهش :تاکیدی بر ضرورت داده کاوی 6 ‏ 61%مدیران معتقدند که داده های بسیار زیاد در حوزه کارشان موجود است. ‏ 80%معتقدند که این وضعیت منجر به خطا می شود. ‏ بیش از %50مدیران در فرآیندهای تصمیم گیری جاری خود ،به دلیل زیادی داده ها بسیاری از آنهارا نادیده می گیرند. ‏ 84%مدیران این اطالعات را برای آینده ذخیره می کنند ،و آن ها را برای آنالیزهای جاری بکار نمی برند. ‏ 60%معتقدند که هزینه جمع آوری اطالعات از ارزش مفید آن ها بیشتر است. داده كاوي چيست؟ ‏ توانايي اقتباس اطالعات مفيد ك ه در داده ه ا مخف ي اس ت و ب ه كار گرفتن اين اطالعات ،در جهان رقابتي امروز اهميت فزاينده اي يافته است .يك پروسه كامل از به كار گيري روش ها و تكنيك هاي جديدي براي كشف اطالعات از داده ها داده كاوي نام دارد. ‏ داده كاوي ماهيتا“ شبيه به حل يك پازل است .داده ها به صورت تكي ساده ،كامل و قابل توضيح هستند اما به صورت كلي دركشان سخت است و داده کاوی راه حل است. ‏ تکنولوژ ی جدی د داده کاوی جایگزی ن روش های پردازش و تفسیر کالسیک (هم دستی و هم کامپیوتری) است. 7 داده کاوی ‏ ‏ ‏ بر اساس اعالم دانشگاه ، MITدانش داده کاوی یکی از ده دانش در حال توسعه ای است که دهه آینده را با انقالب تکنولوژیک مواجه خواهد ساخت و بدین رو در سالهای اخیر در دنیا گسترش فوق العاده سریعی داشته است. دانش داده کاوی در سالهای گذشته همواره از جمله ده دانش برتر دنیا بوده است. دانش داده کاوی فر ایند کشف دانش پنهان درون داده ها است که با برخورداری از دامنه وسیع زیر زمینه های تخصصی با توصیف ،تشریح ،پیش بینی پدیده های گوناگون پیرامون ی ،امروزه دارای کاربرد بس یار وسیع در حوزه های مختلف صنعتی ،ارتباطات ،کشاورزی ،پزشکی ،انرژی ،علوم اجتماعی ، فرهنگی ،سیاسی ،اقتصادی ،بازرگانی ،نظامی ،مدیریت شهری ،آموزشی و ...است. 8 داده کاوی ‏ داده کاوی عبارت اس ت از کش ف روشه ا و الگوهای ی ویژ ه در پایگاه داده های بزرگ ،برای هدایت تصمیم گیری در مورد فعالیت های آینده. ‏ الگوهای ارایه شده می توانند درک مفید و غیر قابل انتظاری در اختیار یک تحلیل گر داده قرار دهند. ‏ امروزه مرز و محدودیتی برای کاربرد این دانش متصور نبوده و زمینه های کاربردی این دانش در تمامی عرصه های برخوردار از داده وجود دارد. 9 نقش داده کاوی ‏ ذخیره ساز داده ها برای هر سازمان مثل یک حافظه عمل می کند ولی حافظه بدون هوش و آگاهی فایده چندانی ندارد. ‏ آگاهی به ما اجازه می دهد در حافظه های قبلی خود جستجو کنیم ،به الگوهای خاصی توجه نمائیم ،قوانینی را ایجاد کنیم ،به ایده های جدیدی برسیم ،سوالهای درستی را مطرح کنیم و پیش بینی هایی درباره آینده انجام دهیم. ‏ تکنیکهای داده کاوی موجب افزایش آگاهی در ذخیره سازی داده ها میشوند. 10 مزایای داده کاوی 11 ‏ ‏ ‏ ‏ ‏ ‏ ‏ ‏ ‏ ‏ بر نتابیدن فرض های ساده کننده مانند فرض استقالل با فرض وابستگی احتمالی همه پدیده ها دینامیک بودن آنالیزهای همزمان عدم نیاز به بومی سازی عدم نیاز به اعتبارسنجی دوری از اشکاالت حاصل از نمونه گیری عدم نیاز به فرضیه آنالیز داده های واقعی و نه توزیع داده ها ایجاد مدل های کامال واقعی ...... سازمان های موفق دنیا: سازمان های بهره مند از دانش داده کاوی 12 ‏ ‏ ‏ ‏ ‏ 10نفر اول ثروتمند ترين افراد در امريکا گوگل وال مارت آمازون ای بی خاستگاه داده کاوی ‏ ‏ طبیعتا ً تجارتهای کوچکی که مدیریت خوبی دارند می توانند به نحوه ایجاد رابطه با مشتریانشان پی ب برند .آنها با گذش ت زمان درباره مشتریانشان به چیزهای بیشتر و بیشتری پی خواهند برد و از آن دانش برای خدمت بهتر به مشتریان استفاده خواهند نمود و نتیجه کار ،مشتریان وفادار و خرسند و تجارتهای سودآور خواهد بود. شرکتهای بزرگ ب ا ص دها هزار ی ا میلیونه ا نف ر مشتری از مزیت برقراری روابط شخصی حقیقی با تک تک مشتریانشان بی بهره اند .این موسسات عظیم باید به وسایل دیگری برای برقراری رابطه با مشتریانشان تکیه نمایند .آنها باید یاد بگیرند که از آنچه که به وفور دارند نهایت بهره را ببرند یعنی داده هایی که از طریق تعامل با تک تک مشتریان به دست آمده است. 13 خاستگاه داده کاوی ‏ دانش نوین داده کاوی با برخورداری از تکنیکهای تحلیلی گسترده ،برای تبدیل داده های مشتریان به دانش درباره مشتریان استفاده میشود. ‏ تکنیکهای داده کاوی امکان استفاده از انبوه داده هایی را که از طریق تعامالت با مشتریان و ارباب رجوعها به منظور شناخت بهتر آنها فراهم شده به شرکتها میدهد. 14 خاستگاه داده کاوی ‏ ‏ ‏ ‏ ‏ ‏ ‏ احتمال وفادار ماندن یک مشتری درمورد چه کسی زیاد است و احتماالً چه کسی وفادار نخواهد بود؟ چه محصوالتی را برای چه مشتریان بالقوه ای باید عرضه نمود؟ چه چیزی تعیین می کند که آیا فرد به محصول خاصی پاسخ می دهد یا نه؟ چه وقت باید شعبه بعدی را ایجاد نمود؟ محصول یا خدمات بعدی که این مشتری می خواهد کدام است؟ پاسخ به سواالتی از این دست در بطن داده های هر سازمان قرار دارد و به ابزارهای قوی داده کاوی نیاز است تا به آنها رسید. ابزار و تکنیهای داده کاوی بیان شده در این ارائه در همه زمینه ها و حوزه های دیگر یکسان عمل می کنند. 15 عوامل توسعه داده کاوی 16 ● بیشتر تکنیکهای داده کاوی حداقل به عنوان الگوریتمهای آکادمیک از سالها یا دهه های قبل وجود داشته اند. ● تنها در دهه اخیر است که داده کاوی تجاری نقش عمده ای را بازی کرده است. ● این مسئله به خاطر همزمانی چندین عامل زیر است: ● داده ای که ایجاد شده است. ● داده ای که ذخیره شده است. ● توان محاسباتی قابل دسترسی است. عوامل توسعه داده کاوی 17 ‏ داده ای که ایجاد شده است ● داده کاوی هنگامی بیشترین معنی را پیدا می کند که داده های زیادی وجود داشته باشد. ● اغلب الگوریتم های داده کاوی نیازمند میزان زیادی از داده ها هستند تا مدلهایی را ترتیب دهند که بعداً برای دسته بندی ،تخمین ،پیش بینی یا سایر کارکردهای داده کاوی مورد استفاده قرار گیرند. عوامل توسعه داده کاوی 18 ● صنایعی نظیر مخابرات و کارتهای اعتباری به مدت طوالنی روابط تعاملی و اتوماتیک با مشتریان داشته اند و اطالعات تعاملی زیادی را جمع آوری نموده اند. ● تنها اخیراً اتوماتیک شدن زندگی روزمره در تمامی زمینه ها بسیار رایج گشته است. ● امروزه از طرق مختلف داده تولید شده و جمع آوری می شود مانند: ● افزایش ثبت الکترونیک فروش فروشگاهها ● ماشینهای اتوماتیک سخنگو عوامل توسعه داده کاوی 19 ‏ داده ای که ذخیره شده است ● در فرایند ذخیره سازی داده ها ،داده ها از منابع بسیار متفاوتی به شکل واحدی با تعاریف ثابت جمع آوری می گردد. ● ذخیره ساز داده ها باید بصورت عمده بگونه ای طراحی شود که عمل داده کاوی را تسهیل نماید. عوامل توسعه داده کاوی توان محاسباتی قابل دسترسی است ● الگوریتم های داده کاوی معموالً نیازمند عبور چندگانه از میزان عظیم داده هاست. ● بیشتر آنها از نظر محاسباتی فشرده هستند. ● کاهش شدید و مداوم در قیمت کامپیوتر انجام تکنیکهایی را عملی ساخته که امروزه با کامپیوتر های معمولی نیز قابل انجام است. 20 عوامل توسعه داده کاوی 21 ● ارائه موفق نرم افزارهای مدیریتی پایگاه داده ها از جانب تولید کنندگان عمده مانند اوراکل ،ترادیتا و آی بی ام این توان را ایجاد کرده که فرآیندهای موازی در بسیاری از مراکز داده ای شرکتها برای اولین بار انجام شود. ● این برنامه سرور پایگاه داده های موازی ،فراهم کننده محیط عالی برای داده کاوی در مقیاس بزرگ می باشد. دستاوردهای پیاده سازی سیستمهای داده کاوی در سازمانها 22 ‏ سرعت در تحليل اطالعات و افزايش كيفيت نتايج تحليل ها ‏ شناسايي سريع فرصتها و تهديدها ‏ بهره گیری از سيستمهاي داده كاوي با كاربري آسان ‏ ايجاد امكان استفاده از ابزارهاي متنوع داده كاوي ‏ افزایش قدرت تحليل در سازمان بهمراه افزايش صحت تحليل ‏ ايجاد فضايي شفاف در سازمان براي تصميم گيري صحيح در تمامی رده های مدیریتی بویژه بهبود تصميم گيري مديران ارشد داده کاوی سازمانی ‏ ‏ ‏ ‏ • • ( ODM ( Organization Data Miningبه عنوان ابزار استخراج دانش اتکاپذیر از داده ها تعریف شده است. فن آوری است که فرایند تصمیم گیری را بوسیله دگرگون ساختن داده ها به سوی دانش ارزشمند درجهت کسب یک مزیت رقابتی سوق می دهد. بعنوان شیوه بکاربردن ابزارهای داده کاوی تعریف شده است. پردازش بهینه تصمیم گیری را در سازمان ها تسهیل می نماید. بکار بستن ODMسازمانها را قادر می سازد تا نسبت به آینده سریع تر عمل نمایند ،فعال باشند بجای آنکه واکنش پذیر باشند و بدانند بجای آنکه حدس بزنند . واضح است که با داشتن این قابلیت ،سازمان ها قادر می باشند دانش ارزشمندی را از داده هایشان بدست آورند. 23 جایگاه داده کاوي در فرآيند کشف دانش مراحل کشف دانش ) Data Cleaning 7( پاکسازی داده ها-1 ) Data Integration7( يکپارچه سازی داده ها-2 ) Data Selection7( انتخاب داده ها-3 ) Data Transformation7( تبديل کردن داده ها-4 )Data Mining7( داده کاوی-5 ) Pattern Evaluation7( ارزيابی الگو-6 ) Knowledge Presentation7(ارائه دانش-7 سير تاريخي از جمع آوري داده تا داده کاوي Activated Technolog y Question Data Evolution Computer Tapes & Disks How much is the total incom ?of a person in last year Data collection 1960s Relational Database ODBC,SQL How many units of a spesific product were sold during ?last month Data Access 1980s OLAP,DW How many units of a specific product were sold during last month In comparison with other ?stores Data warehouse DSS 1990s Perofessional algorithms multi processor computer What will happened in next ?month shell Data Mining Now قدم هاي يازده گانه داده کاوي 27 قدم هاي يازده گانه داده کاوي ‏ ‏ ‏ ‏ ‏ ‏ ‏ ‏ ‏ ‏ تبدیل مسئله تجارت به مسئله داده کاوی انتخاب داده های مناسب شناخت داده ها تهیه داده های مدل رفع مشکالت با استفاده از داده ها تبدیل داده ها تهیه مدلها ارزیابی مدلها پیاده سازی مدلها ارزیابی نتایج چرخه تعالی داده کاوی 29 فرایند داده کاوی 30 داده کاوی مکان محور /تكنولوژي اطالعات مكاني ‏Spatial Data Mining / Geo- Information Technology 31 ‏ داده کاوی مكان محور در دهه اخیر هر ساله جزء ده الویت نخستین تحقیقات امریکا بوده است. نياز ب ه داشت ن آگاه ي ازتوزي ع مكان ي پديده ه ا و تعيي ن ميزان وابس تگی و تاثي ر آنه ا بر روی هم ،منجر به ايجاد وگسترش داده کاوی مكان محور گشته است. ‏ داده کاوی مكان محور در تمام ص نايع و رشت ه هاي ي كه پديده ه ا را م ي بايس ت ب ه صورتی حوزه بندی شده و با در نظر گيری فاكتور” زمان”“ ،مكان” و يا “زمان -مكان” بررسی كنند استفاده می‌شود. ‏ از آنج ا كه س يستمهاي GITدر برگيرنده اطالعات مكان ی و باف ت جغرافياي ی شهره ا، جاده ه ا و خيابانه ا م ي باشن د ،ب ا هوشمن د نمودن تمام ی برنام ه های كاربردی ب ه اطالعات مكان ی -زمان ی ،امكان بهره گيری از داده های مكان محور در اي ن برنامه‌ه ا ني ز ايجاد می‌گردد. ‏ انواع داده کاوی 32 ● داده کاوی در دو نوع ظاهر می شود: ● هدایت شده ● غیر هدایت شده ● داده کاوی هدایت شده می خواهد برخی از زمینه های هدف خاص را بیان یا دسته بندی کند. ● هدف داده کاوی غیر هدایت شده یافتن الگوها یا تشابهات بین گروههایی از اطالعات بدون استفاده از زمینه هدف خاص یا مجموعه ای از دسته های از پیش تعیین شده می باشد. مدل های داده کاوی 33 ● داده کاوی عمدت ًاب7ا س7اختن مدله7ا مرتب7ط اس7ت .ی7ک مدل اس7اس ًاب7ه الگوریت7م ی7ا مجموعه ای از قوانین7ی گفت7ه م7ی شود ک7ه مجموع7ه ای از ورودی ه7ا را ب7ا هدف ی7ا مقص7د خاص7ی مرتب7ط می نماید. ● انواع مدل های داده کاوی: • • • • مدل داده کاوی توصیفی مدل داده کاوی تشریحی مدل داده کاوی پیش بینی مدل داده کاوی کنترلی با داده کاوی چه کارهایی می توان انجام داد؟ 34 ‏ دسته بندی ‏ تخمین ‏ پیش بینی ‏ دسته بندی شباهت ‏ خوشه بندی ‏ توصیف و نمایه سازی 35 با تشکر