انباره داده Data Warehouse پرسشهای مبحث : Data Warehouseچیست؟ ویژگی داده های موجود در DWHچیست؟ مزایای DWHچیست؟ عوامل موفقیت طراحی و راه اندازی DWHدر سازمانها چیست؟ عوامل ریسک DWHچیست؟ انواع داده در DWHچیست ؟ OLAP , OLTP چیست ؟ مفهوم انبار داده ها یک Data Warehouseبرنامه ای کاربردی است که با یک پایگاه داده کار میکند و وظیفه آن گردآوری و ذخیره اطالعات بصورتی است که بتوان از این اطالعات در زمان مناسب در امور مدیریت استفاده نمود. مهمترین مورد استفاده ،Data Warehouseدر Data Miningاست. دادهها شامل مجموعهای از مفاهيم و ابزارهای جديدی تكنولوژي انبار است كه با فراهم آوردن اطالعات از دانشگران (افراد اجرايي ،مدير و تحليلگر) تصمیم گیرنده را در تصميم گيری پشتيباني مينمايد. DWHچیست؟ DWHها در واقع نوعی از سیستم های اطالعاتی هستند و تفاوت آنها با سیستم سيستمهای عملياتي از فعاليتهای روزانه كسب و كار های عملیاتی این است که پشتيباني مينمايند و برای پاسخگويي سريع به ارتباطات از پيش تعريف شده مناسب هستند .دادههای عملياتي ارائه بيدرنگ و فعلي وضعيت كسب و كار ميباشند .اما سيستمهای اطالعاتي براي مديريت و كنترل كسب وكار به كار دادهها براي اتخاذ تصميم درباره عملكرد ميروند .اين سيستمها از تجزيه و تحليل آني و آتي سازمان پشتيباني ميكنند و برای در خواستهاي موردی ،پيچيده و به طور عمده فقط خواندني طراحي شدهاند.دادههاي اطالعاتي تاريخي هستند ،به عبارتي بيانگر ديدگاه ثابتي از كسب وكار در يك دوره زماني ميباشند. دادههای DWH ويژگيهاي اصلي (سيستمهاي سيستمهای عملياتي متنوع دادههای موجود در انبار دادهها از دادهای خارجي (دادههای آماری و وب ) يكپارچه ميشوند. پايگاه دادهها) و منابع دادهها بايد پيش از يكپارچه سازی مشخص و تفاوتهای ساختاری ومعنايي منسجم شود. داده های تاریخی در انبار داده ها برای درک و شناخت جهت گیری داده ها و شناخت و نحلیل روند کسب و کار ذخیره می شود. . دادههای ديگری به نام دادههای اشتقاق يافته ( )derived dataدارد. DWH دادهها به طور صريح در منابع عملياتي ذخيره نميشوند ،بلكه در حين بعضي اين دادههای عملياتي ،اشتقاق مييابند. از فرايندها از مزایای Data Warehouse • بعنوان بستری جهت انجام تحلیل های پیچیده مورد استفاده قرار می گیرد. • برای پاسخ به سواالتی نظیر ، What-Ifشبیه سازیهای مهم نظیر معرفی محصولی جدید به بازار ،تعین سودآورترین محصوالت • ایجاد بستری برای انجام عملیات پیچیده جهت دست یابی به نتایج مهم در کوتاهترین زمان • مورداستفاده بعنوان بستر برای DSSو Expert System • بعنوان بستری برای پاسخگویی به سواالت ایجادشده است که این کار از طریق پاسخگویی متوالی به سوال پیشین صورت می گیرد ،و جستجوهای پیچیده و عملیات یکپارچگی روی سواالت پیشین منجر به حصول نتیجه می شود. مزایای Data Warehouse • کمک به ایجاد درک ،دانش و نگرش مفهومی در مدیران • کمک به حل مسایل نیمه ساختاریافته • کمک به تست فرضیات در مدیران میانی و سطح باال • کمک به ساخت و ایجاد مدل و تست بر روی آن • بعنوان بستری برای کنترل فرآیند تصمیم گیری مدیریتی • دارای معماری انعطاف پذیر • بستری برای داده کاوی ( )DMو استفاده از نتایج برای شبکه های عصبی و هوش مصنوعی عوامل موفقیت طراحی و راه اندازی Data Warehouseدر سازمان توجیه منطقی و محکم درسطح سازمان : جهت انجام پروژه بایستی سودهای قابل اندازه گیری تعریف شده باشند (مثل افزایش فروش) .راه اندازی Data warehouseگران بوده و پروژه بایستی قادر به اندازه گیری سود به دست آمده باشد. آموزش مناسب کارکنان قانع نمودن مدیران عوامل موفقیت طراحی و راه اندازی Data Warehouseدر سازمان اطمینان از کیفیت و یکپارچگی اطالعات و منابع اطالعاتی حفظ امنیت برای داده ها تعریف چشم انداز کوچکتر برای شروع کار درگیر نمودن کاربر نهایی در طراحی و راه اندازی DWH برنامه ریزی و ایجاد زیرساخت درست ایجاد مدل مناسب برای داده ها انتخاب درست ابزار و تکنولوژی عوامل ریسک Data Warehouse عدم حمایت کافی مدیریت ارشد عدم همکاری پرسنل سازمان کمبود متخصص مورد نیاز عدم بررسی و تجدید زیرساخت و ساختار IT عدم هماهنگی تکنولوژیکی DWبا زیرساخت IT عدم ایجاد ظرفیت کافی و امکانات سخت افزاری مناسب برای ذخیره سازیهای عظیم داده ها ناهماهنگی های بین منابع داده ،نظیر دادهای Transactionalازنظر ساختار ،واحدهای اندازه گیری ، نام گذاری و .... مشکالت سیستم DWH زمان طوالنی باید برای آماده سازی سازمان جهت پیاده سازی و استفاده از DWH سیستم های DWHممکن است موجب پیچیدگی شدید در پروسس های سازمان و کسب و کار گردد. DWH بدلیل داشتن فضای باال می تواند به محیطی از داده های فاقد ارزش سازمانی مناسب تبدیل شود. سیستم های DWHنیاز به نگهداری زیادی دارد. بسیاری کاربردهای استراتژیک DWHزمان عمر کوتاهی دارند. Life cycleدر Data Warehouse فاز اول امکان سنجی یک آنالیز سود و زیان بوده که هزینه و سودهای واقعی را برای Data warehouseقابل اندازه گیری و محاسبه می نماید. فاز دوم آنالیز سیستم یک تشریح منطقی ار منابع داده ها برای ، Warehouseآنالیز استخراج داده ها ،آنالیز اصالح داده ها و استخراج داده ها می باشد. فاز سوم طراحی سیستم پیاده سازی فیزیکی مدل منطقی داده ها بوده که در فاز انالیز سیستم توسعه یافته است . Life cycleدر Data Warehouse فاز چهارم ،پیاده سازی در این فاز Warehouseنوشته شده و نرم افزار نیز نوشته و تست شده است. فاز پنجم نگهداری فاز نهائی ایجاد Warehouseمی باشد .این فاز شامل به روز کردن داده ها و آنالیز نیازهای جدید کاربران می باشد. انواع داده در Data Warehouse داده جاری : داده های فعلی منابع عملیاتی داده قدیمی: داده های قدیمی منابع اطالعاتی فراداده ()Meta Data اطالعات مربوط به داده ها یک دیکشنری از اطالعات پایگاه داده راهنمائی جهت انتقال داده از محیط عملیاتی به محیط پایگاه داده تحلیلی قواعد استفاده شده برای خالصه سازی موارد تفاوت انبارداده( ) DWو پایگاه داده ( )DB وظيفه اصلی سيستم های پايگاه داده ،online پشتيبانی از تراکنش های onlineو پردازش query است .ولی DWها مي توانند داده را در قالبهای مختلف برای هماهنگ کردن نيازهای مختلف کاربران وشناسائی ارتباط داده های مختلف سازماندهی و ارائه کنند. مقدار داده های يک پايگاه داده در حدود چند مگابايت تا چند گيگابايت است در حالی که اين مقدار در DWدر حدود چند گيگابايت تا چند ترابايت است. برنامه های کاربردی مرتبط با Data warehouse )OLAP (on line Analytical Processing OLAP عبارتست از مجموع نرم افزارهائی که برای اکتشاف و تحلیل سریع داده ،مبتنی بر یک شیوه چند بعدی با چندین سطح از یکپارچه سازی داده ها استفاده می شود .و از طریق آن تصمیم گیری به دلیل قابلیت هدایت تحلیل ها بدون نیاز به فهم ساختار زیرین بانک اطالعاتی تسهیل می شود. یکی دیگر از دالیل تسریع تصمیم گیری با استفاده از OLAPاین است که داده ها پیش از ارائه درخواست کاربر تا حدود زیادی یکپارچه Pre-aggregateشده اند. پایگاه داده تحلیلی ( )DWو پردازش تحلیلی بر خط ()OLAP از جمله عناصر ضروری در سیستم های تصمیم یار به شمار می آیند. ارتباط داده کاوی و OLAP داده کاوی و OLAPدو ابزار کامال متفاوت می باشند که می توانند همدیگر را تکمیل کنند. OLAP جزیی از ابزارهای تصمیم گیری Decision Support Toolsمی باشد. بدین معنی که کاربر فرضیه ای در مورد داده ها و روابط بین آنها ارائه می کند و سپس به وسیله ابزار OLAPبا انجام چند Queryصحت آن فرضیه را بررسی می کند. تفاوت داده کاوی با OLAPدر این است که داده کاوی برخالف OLAPبرای بررسی صحت یک الگوی فرضی استفاده نمی شود بلکه خود سعی می کند این الگوها را کشف کند. برنامه های کاربردی مرتبط با Data warehouse )OLTP (On – Line Transaction Processing OLTPسیستم های پردازش گری هستند که که داده های مورد استفاده در آن داده های به روز ،جاری و با جزئیات است.و پردازش های آن مشتمل بر عملیات روزانه مانند خرید و فروش و عملیات بانکی و مانند آن است. خصوصیات OLTP سيستم هاي OLTPدر كليه خدمات بازرگاني ديده مي شوند از جمله سيستم هاي رزرواسيون ،دستگاه هاي فروش ، كنترل انبار ،سهام و فروش و . ...اين سيستم ها غالبا به زمان پاسخي بين 1تا 3ثانيه در 100در صد اوقات نياز دارند. تعداد كاربران آنها در ساعات مختلف روز ،هفته و ماه مي تواند بشدت متغير باشد و درتمامي اين اوقات به همان زمان پاسخ قبلي نياز دارند. OLTP خود نيز به دو نوع عادي ( )Liteو قوي ( )Heavyتقسيم مي گردد Client .های عادی قادرند تعامل را در غالب پردازش هاي ثبت شده در بانك اطالعاتي ( )Stored Proceduresبه اجرا بگذارند و clientهای قوي از ( )TP Monitorبراي اجراي دستورات استفاده ميكنند. مقایسه جنبه های متفاوت OLTP , OLAP پارامترهای ارزیابی OLTP OLAP کاربران کاربران فناوری اطالعات کاربران دانش کارکرد عملیات روزانه پشتیبانی تصمیم طراحی پایگاه داده کاربرد – گرا موضوع – گرا داده جاری ،به روز ،با جزئیات ، رابطه ای ،منفرد سابقه ،خالصه شده ،چند بعدی ،یکپارچه شده کاربرد عملیات تکرار شونده خاص منظوره واحد کاری تراکنش های ساده و کوتاه پرس و جوهای پیچیده تعداد رکوردهای مورد دسترسی دهها رکورد میلیونها رکورد تعداد کاربران هزاران کاربر صدها کاربر اندازه پایگاه داده مگا بایت -گیگابایت گیگابایت-ترابایت Data Martچیست؟ گاهي اوقات انبار دادهها ،حجم عظيمي از اطالعات را در واحدهای منطقي كوچكتر به نام Data Martنگهداري ميكند. Data Martمسئولیت آماده سازی ،كسب يا دريافت دادهها را بر عهده دارد. دادهها از برنامههای كاربردی است كه مسوول استخراج اين مولفه شامل همه منابع عملياتي هستند OLAP(On line Analytical Processing) . OLTP(On – Line Transaction Processing) , از جمله این برنامه های کاربردی هستند. Meta Dataچیست؟ قسمتی از داده های موجود در Data warehouseشاملMeta Data می باشد. "دادههايي است كه مفهوم دادهها" يا "دادههايي درباره در اصل Metadata، دادهها را توصيف ميكنند". دادهها وجود دارند .مثال اطالعاتي درباره منابع انواع مختلف Metadataدر انبار عملياتي ،ساختار دادههاي DWHو كارهايي كه در حين ساخت ،نگهداري و دستيبابي به DWHانجام ميشوند.
80,000 تومان