تشخیص داده های پرت

تشخیص داده های پرت

اسلاید 1: تشخیص داده های پرتارائه دهنده :استاد گرامی :Outlier Detection

اسلاید 2: مقدمه و توضیحات داده پرت و تجزیه و تحلیل داده پرتروش های تشخیص داده پرترویکردهای آماریرویکردهای مبتنی بر مجاورترویکردهای مبتنی بر خوشه بندیرویکردهای مبتنی بر طبقه بندیاستخراج داده های پرت متنی و اشتراکیتشخیص داده های پرت در داده های با ابعاد بزرگمنابعفهرست عناوین123456789101112131415161718192021Normal DataoutlierNormal Data

اسلاید 3: مقدمه و توضیحاتاز داده کاوی؛ به عنوان مرحله ای از فرایند کشف دانش که الگوها و یا مدل ها را در میان انبوهی از داده ها پیدا می کند؛ یاد می شود. خروجی فرایند داده کاوی معمولاً غیر بدیهی است. علاوه بر این، داده کاوی علمی است که از تلفیق علوم متفاوت همچون؛ آمار، یادگیری ماشینی، پایگاه های اطلاعاتی و مانند آن شکل می گیرد و ماده اولیه به کار رفته در آن، داده (اطلاعات) است. از این رو سنگ بنای عملیات داده کاوی خوب، به کارگیری و دسترسی به داده های اولیه خوب ومناسب است؛ که از آن به آماده سازی یا پیش پردازش داده ها یاد می شود. در واقع برای کشف دانش به کمک داده کاوی بایستی مقدماتی صورت گیرد؛ که مجموعه این اقدامات را آماده سازی داده ها گویندتعریف مسئلهدانشارزیابی مدل سازی دادهتحلیل دادهآماده سازی داده123456789101112131415161718192021

اسلاید 4: اهمیت آماده سازی داده ها :  فقدان داده با کیفیت برابر با فقدان کیفیت در نتایج کاوش است ورودی بد خروجی بد به دنبال دارددرصد اهمیت در موقیعیت نهایی کاردرصد زمان صرف شده از کل کارگام های داده کاوی7575آماده سازی داده1520بررسی داده105مدل سازی دادهجدول 1 : مقایسه اهمیت گام آماده سازی داده ها با سایر گام های داده کاوی تشخيص اشتباه همواره درمان اشتباه به همراه دارد. 123456789101112131415161718192021

اسلاید 5: Outlier چیست ؟مثال : دمای هوای 0 درجه در بین لیست داده های ثبت شده مربوط به دمای روزانه تیرماه برای بیرجندداده های پرت با داده نویز متفاوت هستند  نویز یک خطای تصادفی یا اختلاف در یک داده شمارش شده است  نویزها باید قبل از تشخیص داده های پرت برطرف شوندکاربردهای تشخیص داد پرت : تشخیص تقلب در کارتهای اعتباری  تشخیص تقلب در صنایع ارتباطی  تقسیم بندی مشتریان تحلیل داده های پزشکیsssssssssssssssssssssssssssssssooooOutlierOutlierNoiseNoiseوقتی یک داده به طور قابل توجهی با سایر داده ها متفاوت باشد به نحوی که انگار از طریق مکانیزم دیگری تولیدشده است ، به آن داده ، یک داد پرت می گوییم . 123456789101112131415161718192021

اسلاید 6: انواع داده پرت1- Global Outlier ( داده پرت سراسری یا دارای بی نظمی نقطه ای)شیء در مجموعه داده های پرت Global قراردارد اگر از بقیه مجموعه داده ها به طور قابل توجهی انحراف پیدا کندمثال : نفوذ در شبکه های کامپیوتری - اگر رفتار ارتباطی یک کامپیوتر با الگوی نرمال بسیار متفاوت باشد (تعداد زیادی بسته به صورت broad-cast در زمان کوتاهی ارسال شود ) این رفتار می تواند یک Global-Outlier باشد . outlierمسئله اصلی پیدا کردن اندازه مناسب انحراف از داده نرمال می باشد .123456789101112131415161718192021