پایگاه داده تحلیلی و معماری آن

پایگاه داده تحلیلی و معماری آن

اسلاید 1: پايگاه داده تحليلی و معماري آن

اسلاید 2: ساختار کلی پايگاه داده تحليلی

اسلاید 3: ساختار کلی پايگاه داده تحليلی پايگاه داده تحليلی مخزني از اطلاعات جمع آوري شده از منابع مختلف مي باشد كه به صورت يک شماي يكپارچه ذخيره مي شود. پايگاه داده تحليلی شامل مراحل زير مي باشد : پاکسازي داده ها انتقال داده ها جمع آوري داده ها کاهش داده ها

اسلاید 4: مراحل تبديل داده خام به دانش در يک سيستم پايگاه داده تحليلی Data CleaningData IntegrationDatabasesData WarehouseSelection & TransformationData MiningPattern Evaluation& PresentationKnowledgeFlat Files

اسلاید 5: پاك سازي داده هاپرکردن فيلدهاي خالي از بين بردن نويزهاي داده اي شناسايي داده هاي اشتباه تصحيح ناسازگاري هاي موجود در بين داده هاي وروديدر اين بخش عمليات مختلفي براي پاک سازي داده هاي قابل انجام است:ناديده گرفتن تاپلهاي نادرست

اسلاید 6: پاك سازي داده ها - ادامهدر اين بخش عمليات مختلفي براي پاک سازي داده هاي قابل انجام است:پرکردن فيلدهاي نادرست به صورت دستيپرکردن فيلدهاي نادرست با يک مقدار مشخص پرکردن فيلدها با توجه به نوع فيلد و داده هاي موجودپرکردن فيلدها با نزديکترين مقدار ممکن

اسلاید 7: يكپارچه سازي داده ها تركيب داده هاي دريافتي از منابع اطلاعاتي مختلف استفاده از فرا داده ها براي شناسايي و حذف افزونگي داده ها تشخيص و رفع برخوردهاي داده اي يکپارچه سازي داده ها از سه فاز کلي تشکيل شده است:شناسايي فيلدهاي يکسان شناسايي افزونگي هاي موجود در داده هاي ورودي مشخص کردن برخورد هاي داده اي

اسلاید 8: تبديل داده ها در اين فاز، داده هاي ورودي طي مراحل زير به شكلي كه مناسب عمل داده کاوي باشند، در مي آيند:از بين بردن نويزهاي داده ها تجميع داده ها کلي سازي نرمال سازي افزودن فيلدهاي جديد

اسلاید 9: تبديل داده ها - ادامهاز بين بردن نويزهاي داده اي :منظور از داده هاي نويزي، داده هايي هستند که در خارج از بازه مورد نظر قرار مي گيرند .براي اصلاح داده هاي نويزي از روشهاي زير استفاده مي شود:استفاده از مقادير مجاور براي تعيين يک مقدار مناسب براي فيلدهاي داراي نويزدسته بندي داده هاي موجود و مقداردهي فيلد داراي داده نويزي با استفاده از دسته نزديکتر ترکيب روشهاي فوق با ملاحظات انساني

اسلاید 10: تبديل داده ها - ادامهتجميع داده ها: تجميع داده ها به معني بدست آوردن اطلاعات جديد از ترکيب داده هاي موجود مي باشد.کلي سازي: کلي سازي به معني دسته بندي داده هاي موجود براساس ماهيت و نوع آنها است. نرمال سازي: منظور از نرمال سازي، تغيير مقياس داده ها است .افزودن فيلدهاي جديد: گاهي اوقات براي سهولت عمل داده کاوي مي توان فيلدهايي به مجموعه فيلدهاي موجود اضافه کرد .

اسلاید 11: کاهش داده ها شامل تکنيکهايي براي نمايش کمينه اطلاعات موجود است. اين فاز از سه بخش تشکيل مي شود:کاهش دامنه و بعد: فيلدهاي نامربوط، نامناسب و تکراري حذف مي شوند. فشرده سازي داده ها: از تکنيکهاي فشرده سازي براي کاهش اندازه داده ها استفاده مي شود.کدکردن داده ها: داده ها در صورت امکان با پارامترها و اطلاعات کوچکتر جايگزين مي شوند.

اسلاید 12: داده کاوي و تحليل داده هاي موجود داده کاوي فرايند کشف اطلاعات نهفته از درون حجم بسيار زياد داده هايي است که در قالب پايگاه هاي داده اي، انبارهاي داده يا هر نوع انباره اطلاعاتي ذخيره شده اند.

اسلاید 13: معماري پايگاه داده تحليلی

اسلاید 14: معماري پايگاه داده تحليلی معماري در نظر گرفته شده براي پايگاه داده تحليلی يک مدل سه لايه است لايه دادهلايه کنترلواسط کاربري

اسلاید 15: واسط کاربريارتباط با موجوديت هاي خارجي از طريق واسط کاربر انجام مي گيرد. به طور کلي مي توان وظايف لايه واسط کاربري را در سه دسته کلي ورودي و خروجي و کنترل تقسيم نمود.کنترل وروديواسط هاي ورود داده هاواسط هاي خروج داده ها

اسلاید 16: واسط کاربري - ادامهبخش ورود اطلاعات مسوليت تمامي مدخل هاي ورودي اطلاعات را بر عهده دارد .بخش خروجي اطلاعات شامل تمامي واسط ها و کنترل هاي لازم براي ارسال داده ها به نهادهاي خارجي است .بخش کنترل شامل کنترل هاي لازم بر اطلاعات ورودي و خروجي است. کنترل داده هاي ورودي، کنترل داده هاي خروجي، ثبت وقايع و کنترل دسترسي کاربران

اسلاید 17: واسط کاربري - ادامهبخش کنترل شامل کنترل هاي لازم بر اطلاعات ورودي و خروجي است.کنترل داده هاي ورودي، کنترل داده هاي خروجي، ثبت وقايع و کنترل دسترسي کاربران ثبت وقايعکنترل دسترسي و امنيتکنترل داده هاي وروديکنترل داده هاي خروجي

اسلاید 18: واسط کاربري - ادامهبخش کنترل :کنترل داده هاي ورودي: اين بخش به طور کلي مسؤل بررسي صحت و جامعيت داده هاي ورودي مي باشد. کنترل داده هاي خروجي: اين بخش به طور کلي مسول بررسي صحت و جامعيت داده هاي خروجي مي باشد.

اسلاید 19: واسط کاربري - ادامهبخش کنترل :کنترل دسترسي و امنيت: نياز به مکانيزمهاي جامع بررسي کنترل دسترسي به داده هاي ذخيره شده در انباره داده و به طور کلي تامين امنيت داده اي وجود دارد .هويت شناسي : چه کاربراني مجاز به استفاده از سيستم هستند. مجاز شناسي : حد دسترسي کاربران مجاز چقدر است .ثبت وقايع: مسؤل ثبت تمامي فعاليت هاي کاربران يا بخشهايي که توسط مدير سيستم مشخص مي شود مي باشد.

اسلاید 20: لايه کنترللايه کنترل داده ها رابط بين دو لايه واسط کاربري و لايه داده اي است و کنترل هاي لازم براي ارتباط با اين دو بخش را فراهم مي کند .امنيت و مدير قواعدثبت وقايعايجاد حجم هاي داده اي و ارايه سرويس به واسط هاي داده کاويپالايش داده هاي ورودي و تبديل آنها به شکلي استانداردکنترل ارتباط با لايه داده ايکنترل ارتباط با واسط کاربري

اسلاید 21: لايه کنترل - ادامهکنترل ارتباط با واسط کاربري:مسوليت دريافت داده ها از لايه واسط کاربر و همچنين ارسال داده هاي خروجي به آن از وظايف اين بخش است .به طور کلي اين لايه درخواست ها و داده هاي ورودي را از لايه واسط کاربر خوانده و به بخش هاي اجرايي مختلف در لايه کنترل مي فرستد. وظيفه ديگر اين لايه کنترل داده هاي خروجي ارسالي به واسط کاربري است.

اسلاید 22: لايه کنترل - ادامهکنترل ارتباط با لايه داده اي :وظيفه اين لايه فراهم آوردن دسترسي به لايه داده است. کنترل دسترسي و بررسي اجازه هاي لازم براي دسترسي نيز از وظايف اين بخش است. کنترل دسترسيواسطهاي دسترسيكنترل ارتباط با لايه داده اي

اسلاید 23: لايه کنترل - ادامهکنترل ارتباط با لايه داده اي : واسطهاي دسترسي به داده ها: اين بخش براي ذخيره و بازيابي داده هاي موجود در لايه داده اي واسطهايي را فراهم مي کند که بخش هاي ديگر سيستم بتوانند نيازهاي داده اي خود را برطرف کنند . مکانيزمهاي دسترسي همزمان، کنترل همروندي، امکان ترميم و ثبت وقايع از تکنيکهايي هستند که در اين بخش پياده سازي مي شوند..

اسلاید 24: لايه کنترل - ادامهکنترل ارتباط با لايه داده اي :مديريت و کنترل دسترسي :علاوه بر فراهم آوردن دسترسي هاي مختلف به داده ها، کنترل دسترسي و اينکه چه بخش هايي و با چه مجوزهايي مي توانند به داده ها دسترسي داشته باشند، از وظايف ديگر بخش کنترل ارتباط با لايه داده اي است .مکانيزمهاي دسترسي :کنترل دسترسي اجباري کنترل دسترسي احتياطي

اسلاید 25: لايه کنترل - ادامهپالايش داده هاي ورودي و تبديل آنها به شکلي استاندارد :مسؤليت اين بخش پالايش داده و تبديل داده هاي ورودي به شکلي استاندارد است. اين بخش توسط مدير ارتباط با لايه داده اي، داده ها را از لايه وسط کاربري گرفته و طي مراحل مختلفي، ناسازگاري بين داده ها را حذف کرده و آنها را راهي لايه داده اي مي کند.

اسلاید 26: لايه کنترل - ادامهکنترل ارتباط با لايه داده ايپالايش داده هاي وروديکنترل ارتباط با واسط کاربري واسط کاربري لايه کنترل لايه داده اينحوه ارتباط بخش پالايش داده اي با لايه هاي ديگر

اسلاید 27: لايه کنترل - ادامه کاهش داده ها تبديل داده ها يکپارچه سازي داده ها پاکسازي داده هابخش پالايش داده هاي ورودي

اسلاید 28: لايه کنترل - ادامهايجاد حجم هاي داده اي و ارايه سرويس به واسط هاي داده کاوي :مسوليت اين بخش ايجاد حجم هاي داده اي، مديريت، توليد و استفاده از آنهاست.حجم داده اي چيست ؟بسياري از اوقات پاسخ به پرس وجوها و تهيه گزارش ها مستلزم تركيب تعدادي زيادي پرس وجو از تعدادي زيادي جدول است كه اجراي انها زمان گير است بنابراين علاوه بر استفاده از ساختارهاي داده اي نرمال بايد از ساختارهاي ستاره اي نيز استفاده كرد .ساختارهاي ستاره اي با تعبيه مكانيزم هاي خلاصه سازي و تجميع داده ها و بعضاً با خارج ساختن ساختار از حالت نرمال امكان گزارش گيري سريعتر را فراهم مي سازد.

اسلاید 29: لايه کنترل - ادامهايجاد حجم هاي داده اي و ارايه سرويس به واسط هاي داده کاوي:مزاياي پايگاه داده چند بعدي نسبت به پايگاه داده رابطه اي :در پايگاه داده چند بعدي داده ها در سطح بالاتر و هوشمندانه تري نسبت به پايگاه داده رابطه اي نشان داده مي شوند .در اين مدل هم رويت و دنبال کردن داده هاي خاص ساده تر است. داده ها در قالب ساختار ابعادي نشان داده مي شوند که با ديدگاه هاي روزمره ما تطابق بيشتري دارد. در پايگاه داده چند بعدي با صرف مشاهده يک حجم داده اي مي توان اطلاعاتي را راجع به مقاديري که فيلد ها مي توانند بپذيرند به دست آورد.

اسلاید 30: لايه کنترل - ادامهايجاد حجم هاي داده اي و ارايه سرويس به واسط هاي داده کاوي:مزاياي پايگاه داده چند بعدي نسبت به پايگاه داده رابطه اي :تکرار داده ها در حجم هاي داده اي به حداقل مي رسد .در پايگاه داده چند بعدي عمليات داده اي روي حجم هاي داده اي سريعتر صورت مي گيرد .هدف از ايجاد حجم هاي داده اي دستيابي به يک سري حقايق است که مي توانند براي مديران و تحليل گران مفيد باشند .ليست حقايقي که بايستي کشف شوند از بررسي سيستم و داده هاي آن و يا با مشورت با مديران و تحليل گران داده هاي سيستم مشخص مي گردند.

اسلاید 31: لايه کنترل - ادامهايجاد حجم هاي داده اي و ارايه سرويس به واسط هاي داده کاوي:هدف از ايجاد حجم هاي داده اي دستيابي به يک سري حقايق است که مي توانند براي مديران و تحليل گران مفيد باشند .براي دستيابي به حقايق مورد نظر جدول هايي را ايجاد مي شود که داراي دو نوع کلي از فيلدها خواهند بود.فيلدهاي گرفته شده از جدول هاي موجود فيلدهاي اضافه شده به منظور کشف حقايق به جدول هايي که به اين طريق ايجاد خواهند شد جدول حقايق گفته مي شود.

اسلاید 32: لايه کنترل - ادامهايجاد حجم هاي داده اي و ارايه سرويس به واسط هاي داده کاوي:دو شماي کلي براي ايجاد جدول حقايق:شماي ستاره اي شماي دانه برفي در جدول حقايق هر کدام از فيلدها که از جدول­هاي موجود گرفته مي شوند يک کليد خارجي براي اين جدول و کليد اصلي براي جدول مربوطه خواهند بود.به هر کدام از آن جدول ها (جدول هايي که يکي از فيلدهاي آنها در جدول حقايق مي باشد) يک بعد براي جدول حقايق گفته مي شود.

اسلاید 33: لايه کنترل - ادامهايجاد حجم هاي داده اي و ارايه سرويس به واسط هاي داده کاوي:مثالي از نمودار ستاره اي

اسلاید 34: لايه کنترل - ادامهثبت وقايع :مديريت ثبت وقايع در سيستم بر عهده اين بخش است.اين بخش از طريق يک واسط کاربري سياست هاي ثبت وقايع را از مدير يا مسؤل سيستم گرفته و طبق آن کار مي کند .ثبت وقايع به صورت يک سيستم يکپارچه در سيستم پايگاه داده تحليلی اي پياده سازي شده و همه بخش هاي ديگر براي ثبت وقايع خود از ماژولهاي اين بخش استفاده مي کنند. وقايع ثبت شده يکي از ابزارهاي مديريت براي يافتن مشکلات سيستم و پيگيري مسايل امنيتي سيستم است.

اسلاید 35: لايه کنترل - ادامهثبت وقايع :ثبت وقايع کلي: در اين نوع ثبت، تنها مراحل کلي کار در فايلهاي مربوطه، ثبت شده و از پرداختن به جزييات جلوگيري مي شود .ثبت وقايع جزئي: در اين روش همه مراحل و جزييات کار ثبت مي شود . اين روش ثبت، هزينه زماني و حافظه اي بيشتري نسبت به روش قبل دارد و تنها در صورتي استفاده مي شود که نياز به آن باشد. اينکه در هر لحظه از کدام روش استفاده گردد توسط مدير سيستم تعيين مي شود

اسلاید 36: لايه کنترل - ادامهثبت وقايع :2004-07-22 Admin- Select * From Table12004-07-23 Hossein- Delete Table 22004-07-23 Maryam- Insert into Table32004-07-24 Anonymous- Delete Data Cube1…نمونه اي از فايل ثبت وقايع

اسلاید 37: لايه کنترل - ادامهامنيت :اين بخش مسول دريافت سياست هاي امنيتي سيستم و کنترل اعمال آنهاست. به طور کلي وظايف اين بخش در سه دسته زير تقسيم مي شود: کنترل هويت: يعني اينکه مشخص گردد چه کاربراني مجاز به استفاده از سيستم هستند. کنترل دسترسي: کاربران مجاز، چه دسترسي هايي به کدام داده ها و کدام بخش از سيستم دارند.مديريت قواعد: کنترل هويت و کنترل دسترسي و نيز بخش هاي مختلف سيستم نياز به قوانيني دارند که به قوانين کنترلي سيستم معروفند

اسلاید 38: لايه داده فرا داده:فرا داده، شناسنامه داده است .در فرا داده اطلاعاتي راجع به داده ها نگهداري مي شود. کاربران سيستم مي توانند از اين اطلاعات براي ارتباط آسانتر با سيستم و شناسايي بهتر داده ها استفاده نمايند .فرا داده مي تواند جوابگوي بسياري از سوالاتي باشد که براي بسياري از کاربران در آينده مطرح خواهد شد.

اسلاید 39: لايه داده - ادامهفرا داده: شامل دو بخش اطلاعاتي اطلاعات تکنيکي: شامل اطلاعاتي است که به نگهداري و توسعه سيستم کمک خواهند کرد.اطلاعاتي در مورد منبع داده هااطلاعاتي در مورد تبديلات به کار گرفته شده :اضافه کردن فيلدهايي به جداولحذف کردن فيلدهايي از جداولانتخاب اسامي مشترک براي براي فيلدهاي يکسان در جدول هاي مختلفنرمال سازي جداولتغيير نوع داده اي فيلدهاي جدول در صورت لزومکمينه کردن فيلدهاي يک جدول

اسلاید 40: لايه داده - ادامهفرا داده:اطلاعات تکنيکي:تشريح روشهاي بکار گرفته شده براي پاکسازي داده ها مجاز شناسي و احراز هويت اطلاعات تجاري:اين اطلاعات به کاربران در فهم بهتر اطلاعات انبارداده کمک خواهند کرد.اين بخش شامل اطلاعاتي در مورد پرس و جوهاي موجود، گزارش ها، تاريخچه اطلاعات و مالکين هاي داده هاي انبارداده مي باشد.

اسلاید 41: لايه داده - ادامهذخيره سازي داده ها :در اين بخش داده هاي سيستم ذخيره مي شوند .داده ها در قالب بانک اطلاعات رابطه اي ساختار دهي شده و از تکنيکهاي موجود در اين قالب برخوردار خواهند بود .مساله اساسي در ذخيره سازي داده ها، ساختار دهي مناسب و اصولي داده ها است .منظور از ساختار دهي مناسب و اصولي بهره گيري از قواعد نرمال سازي، حذف فيلدهاي زايد و افزونه و حذف بي نظمي هاي مختلف داده اي است.

اسلاید 42: بخش هاي مختلف معماري سيستم پايگاه داده تحليلی متادادهداده ها و بانک اطلاعاتامنيت و مدير قواعدثبت وقايعايجاد حجم ها داده اي و ارايه سرويس به واسط هاي داده کاويپالايش داده هاي ورودي و تبديل آنها به شکلي استانداردکنترل ارتباط با واسط کاربريکنترل ارتباط با لايه داده اي کنترل وروديواسط هاي ورود داده هاواسط هاي خروج داده ها

اسلاید 43: مسير حرکت داده ها دريافت داده ها :داده ها پس از دريافت وارد سيستم انبارداده اي شده و پس از طي مراحلي به صورت داده هاي پالايش شده نگهداري مي شوند.داده هاي ديگري نيز مي توانند وارد سيستم شوند. اين داده ها اغلب داده هاي کنترلي هستند که توسط مدير سيستم يا ديگر کاربران سيستم به سيستم اعمال مي شود جريان داده ها:بسته به اينکه داده ورودي، ماهيت کنترلي داشته باشد يا نداشته باشد مسير جداگانه اي را در سيستم طي خواهد کرد

اسلاید 44: مسير حرکت داده ها – ادامه جريان داده ها :داده هاي کنترلي به بخش هاي مديريت دستور رفته و در آنجا پردازش شده و پاسخ داده مي شوند. داده هاي غير کنترلي به سمت بخش پالايش هدايت شده و مسير خود را طي مي کنند.داده ها از طريق واسطهايي به پايگاه داده تحليلی اي وارد شده و به بخش کنترل ورودي منتقل مي شوند. کنترل ورودي نوع داده را تشخيص داده و برخي فيلترينگ ساده بر روي داده هاي ورودي انجام مي دهد .بخش کنترل ورودي پس از پالايش اوليه، داده هاي ورودي را بر حسب نوع آنها به مسير اصلي خود هدايت مي کند.

اسلاید 45: مسير حرکت داده ها – ادامه

اسلاید 46: مسير حرکت داده ها – ادامه

اسلاید 47: مسير حرکت داده ها – ادامه

اسلاید 48: مراجع1-Enrico Franconi, Data Warehouse Models and OLAP Operations, www.cacs.louisiana.edu/~yxz2646/ cmps566/2- Developing a Data Warehouse Architecture, searchoracle.techtarget.com/whitepaperPag3- Data Warehouse Architecture, http://www.indiana.edu/~dss/Services/DataWarehouse/dssoverview.html4- Data Warehouse Architectureو www.dwinfocenter.org/architect.htm 5- Harry Singh,Interactive Data Warehousing, Prentice Hall PTR, 1999