ارزیابی آنتولوژی

صفحه 1:
b 11717 دوت :1 ادن م 6۱ Oo EVALUATION ‏ارزیلبی‌آنتولییی 0 و‎ ارائه دهنده: احمد استیری زیر نظر : دکتر کاهانی ۰ دانشگاه قردوسی مشهد ار ‎٩.‏ 

صفحه 2:
مطالب © مقدمه © اهميت ارزيابى آنتولوزى ها © روشهاى اصلى ارزيابى آنتولوزى ها © بررسى مدلى براى رتبه بندى آنتولوزى هاى بازيابى شده از موتورهاى جستجوى آنتولوزى جمع بندى و نتيجه كيرى abe © ° 

صفحه 3:
‎٩‏ امروزه نقش و کاربرد آنتولوژی در سیستم های مبتنی بر دانش بسیار قابل توجه ‎ ‎٩‏ آنتولوژی بعنوان یک ابزار قدرتمند برای نمایش و بیان دانش مربوط به یک حوزه در یک قالب رسمی و قابل پردازش توسط ماشین, مطرح است. ‎٩‏ به کمک آن می توان ارتباط بین سیستم های ناهمگون را برقرار کرد و تعامل و ارتباط متقابل بین برنامه هاء ماشینهاه و سیستم های ناهمگون را بهبود داد. ‎٩‏ اگر چه وعدهآنتولوژی ها حل مشکل تعامل سیستم های ناهمگون می باشد اما در © عمل, خود آنتولوژی هاء سطحی از ناهمگونی را به سیستم اضاقه می نمایند 

صفحه 4:
اهمیت ارزیابی آنتولوژی ها توجه به نقش مهم آنتولوژی در سیستم های مبتنی بر دانش, موضوع ارزیاب نحوه بررسی کیفیت آنتولوژی از اهمیت بالایی برخوردار می باشد. طبیعتا اگر قرار است آنتولوژی ها بعنوان عناصر اصلی وب معنایی استفاده شوند. بايد بتوان به روشی اعتبار آنها را از نظر کیفی مورد سنجش قرار داد. © در حال حاضر هیچ روش استانداردی برای ارزیابی آنتولوژی وجود ندارد و اين زمينه بعنوان یک زمینه مناسب جهت کار و پژوهش مطرح می باشد. 

صفحه 5:
روشهای اصلی ارزیابی آنتولوژی ها (golden standard) a>» ‏روشهاى مبتنى بر مقايسه با يك مدل‎ .١ application ‏روش مبتنی بر‎ ۲ ۳ روشهای چند معیاره ۴ روش مبتنی بر افراد خبره 

صفحه 6:
‎.١‏ (وشهاى مبتنى بر مقايسه با يك مدل مرجع ‏© مقايسه ى آنتولوزى مورد نظر با يك آنتولوزى يا يك منبع اطلاعاتى ديكر كه بعنوان مرجع و منبع اصلی در حوزه مورد بحث شناخته شده است. ‎٩‏ مثال: ارزیابی یک آنتولوژی مربوط به حوزه تست نرم افزار ‏* اگر آنتولوژی شناخته شده و مرجمی وجود داشته باشد آن را به عنوان مرجع مقایسه انتخاب می کنیم. ‏* اكر هم جنين آنتولوزى لى موجود نباشد منابع ديكر را مورد استفاده قرار مى دهيم. مثلا یکسری مستندات رسمی و دقيق را که دانش مربوط به حوزه تست نرم افزار را بخوبی در بر گرفته است. تخاب کرده و آنتولوزى را با آن مقايسه م تماييم. ‎ 

صفحه 7:
مقایسه آنتولوژی با آنتولوژی ‎٩‏ مدل مرجع: یک آنتولوژی * كار ما مقايسه آنتولوزى با آنتولوزى خواهد بود و كار ساده تراز حلت دوم است. ‎ ‎٩‏ در این حالت می توانيم اجزاى آنتولوزى اول را با آنتولوزى مرجع مقايسه نموده و هر جه تشابه اين دو أنتولوزى بيشتر باشد أنتولوزى مورد بررسى به أنتولوزى مرجع نزديكتر است ودر نتيجه مى توان كفت كه از كيفيت بالاترى برخوردار است. ‎ ‏2 منظور از اجزای آنتولوژی, کلاسهاء روابط خصيصه هاء قيود و نمونه ها مى باشند. 

صفحه 8:
خلاصه سازی آنتولوژی ‎ONTOLOGY)‏ ‎(SUMMARIZATION‏ ‎٩‏ منظور از خلاصه سازی یک آنتولوژی, آن است که مهمترین قسمت های یک آنتولوژی را استخراج کنیم و در قالب یک آنتولوژی جدید ذخیره نمايیم. بدین ‎BE‏ ‏با حذف جزئيات غير ضرورىء مى توانیم فهم و درک آنتولوژی را ساده تر کنیم. ‎ ‏© مساله: فرض كنيد می خواهید برای یک کاربرد خاص, از آنتولوژی استفاده کنید. ‎٩‏ ایده: در موتورهای جستجوی مخصوص, نظیر 5۷۷00612 جستجو كنيد و ببينيد آیا در حال حاضر در زمینه مورد نظر شماءآنتولوژی آماده ای وجود دارد یا خیر. ‎٩‏ انتخاب آنتولوژی مورد نظر ما با توجه به ارزیابی آنتولوژی های پیشنهادی موجود. 

صفحه 9:
خلاصه سازی آنتولوژی (ادامه) بررسی و ارزیابی یک نسخه ی سبک و خلاصه شده از آنتولوژی ها بدون ذکر ات اضافى؛ كار ساده ترى است. © راه حل اول: بهره كيرى از1ع08112ا5آلا مناسب. 7 امكان نمايش آنتولوزى در سطوح مختلفى از جزئیات جهت مشاهده و ارزیابی آن در سطوح مختلف براى كاربران. 0 مشکل: همواره نمی توان به امکانات ۷150181126۳ ها تکیه کرد. بعنوان مثال در برخى كاربردهاء لازم است كه يك عامل نرم افزاری. یک آنتولوژی را بررسی كند(مثلا در بحث ارزيابى و انتخاب آنتولوژی توسط ‎Sole‏ نرم افزارى؛ اين مساله بيش مى آيد). = در اين ‎Ein‏ بح مقناهنه يصرى:ذرمورة أن«صدق نمى كنذ وبانسق تنهينات ديكرى را جهت بهبود مساله بينديشيم. 

صفحه 10:
خلاصه سازی آنتولوژی (ادامه) 7 راه حل: تهیه ی یک نسخه ی خلاصه شده از آنتولوژی ها بدون ذکر جزئیات اضافی. AB ‏اگر بجای بررسی کل آنتولوژی, یک نسخه خلاصه شده آن را مورد پردازش‎ ٩ ‏دهد, قاعدتا کارایی بهتری حاصل خواهد شد.‎ بنابراین, انگیزه اصلی برای بحث خلاصه سازی آنتولوژی, همان درک و پردازش ساده تر آن» چه توسط انسان و چه توسط ماشین, می باشد. ‎٩‏ در این زمینه کارهای بسیار کمی انجام شده است که می توان از ايده ها و نظريه های مطرح شده در زمینه خلاصه سازی 32 ‎yp (Text Summarizatioin)‏ این حیطه نیز بهره گرفت. 

صفحه 11:
مقایسه آنتولوژی با مستندات رسمی و دقیق علمی 2 مدل مرجع: مجموعه ای از مستندات رسمی و دقیق علمی * باز هم به مقایسه اجزای آنتولوژی با اجزای آن مجموعه مستندات می يردازيم و هرجه آنها وجود داشته باشد. کیفیت آنتولوژی بالاتر است چون دانش نمایش آنتولوژی با دانش بیان شده در آن مجموعه مستندات تشابه بیشتری دارد. تشابه بیشتری داده شده در آن ‎٩‏ مساله: محدودیت در مورد اجزای مورد مقایسه. روش ساده آن است که منظور از اجزاء را فقط اجزای متنی بدانیم یعنی فقط لغات» عبارات و کلمات کلیدی موجود در مستندات مرجع را با نام کلاسهاء روابط و خصیصه هاى آنتولوژی مقایسه نماییم. به بیان دیگر در این حالت به نوعی مقایسه ما صرفا یک مقایسه در سطح ۲ است و نه یک مقایسه در سطح 56۳۳۵۲ . 

صفحه 12:
مقایسه آنتولوژی با مستندات رسمی و دقیق علمی(ادامه) یعنی مثلا بررسی می کنیم که چنددرصد از کلمات کلیدی مستندات مرجعء در نام عناصر آنتولوژی استفاده شده است. اما نمی توائیم (یا خیلی سخت است که) برزسی کنیم چه میزان از ساختارها و روابط موجود در مستندات مرجع, در ساختار آنتولوژی ذخيره شنده است: © معيارهاى ارزيابى در اين روش: © 0۲661510۳0: نسبت تعداد مفاهیمی از آنتولوژی که در مرجع مورد استفاده نیز ذکر شده اند به تعداد کل مفاهیمی که در آنتولوژی موجود می باشند. ‎recall 9‏ نسبتتعداد مفاهیم‌و کلما تک لیدی‌موجود در مرجع مورد لستفادم كه در أنتولوىهم موجود می‌باشند به تعداد كلمفاهيم موجود در مرجع مذكور. 

صفحه 13:
یک سوال اساسى! © اكر در يك ‎dines‏ آنتولوى مناسب و استانداردى وجود داشته باشد كه ديكر نيازبه ايجاد آنتولوژی در آن حوزه نمی باشد, در نتيجه موضوع مقايسه يك آنتولوژی بایک آنتولوژی مرجع. به چه معناست و آیا اصلا موضوعیت دارد یا خیر؟ ‎٩‏ پاسخ: گاهی اوقات بحث ارزیابی یک آنتولوژی خودش یک بحث جنبی است و بعنوان یک ابزار برای ارزیاببی موضوع دیگری مورد استفاده قرار می گیرد و در اینصورت اشکال فوق مطرح نمی باشد. ‎٩‏ مثال: ارزیابی الگوریتم های تولید خودکار نتولوژی با استفاده از یکسری متون تخصصی با بهره گیری از مباحثی از جمله ۱6۵۲۳۱۳۵ 0۳0۱09۷ با ارزیلبی آنتولوژی تولید شده توسط الگوریتم با آنتولوژی های مرجع موجود در زمینه ی مورد نظرء ‎ 

صفحه 14:
نا. روش میتنی بر ‎APPLICATION‏ ‎٩‏ در این روش, آنتولوژی ای که می خواهيم ان را ارزیابی ن كاربردى مورد استفاده قرار مى دهيم و سيس بر اساس ‏از آن آنتولوژی در برنامه کاربردی مذکور دارده به سنجش کیفیت آنتولوژی مورد نظر می پردازيم. ‎ ‎٩‏ مشکلات: ‏© اولا: بايد ابتدا يك برنامه كاربردى مناسب برای حوزه مربوط به آن آنتولوژی» در دسترس باشد و بتوانيم آن برنامه كاربردى را براى استفاده از آن آنتولوزى» ©5012 کنيم و آنتولوژی را با آن ۱60۲316 نماییم. اين موارد کارهای ساده ای نیستند و همیشه امکان چنین کاری وجود ندارد. ‎ 

صفحه 15:
۲. روش مبتنی بر ۸۳۳۱۱۵۸۵۲۱۵۲۷ زادامه) يا: اینکه کارایی برنامه کاربردی را به چه میزان و بر اساس چه قاعده ای به کارایی آنتولوژی مورد استفاده مرتبط نماييم» خودش جای بحث دارد. ‎٩‏ یعنی بالفرض که یک آنتولوژی را در یک برنامه کاربردی بکار بردیم و کارآیی آن را اندازه كرفتيم؛ حال آيا نبايد فاكتورهاى ديكرى را نيز در اين افزايش يا كاهش كارايى دخيل بدانيم؟ ‏9 آيا مى توانيم تمام اين تغيبر كارايى را به آنتولوى مورد استفاده مربوط بدانيم؟ برنامه ‎Lb wry lf‏ چه ویژگی هایی داشته باشد تا کیفیت آنتولوژی را بخوبی منعکس نماید؟ 

صفحه 16:
۲. روش میتنی بر ۸۳۳۱۱۵۸۵۲۱۵۲۷ (ادامه) © ثالثا: اينكه بخواهيم یک آنتولوژی را قبل از ارزیابی» در یک برنامه کاربردی بطور ‎ab‏ مورد ابتفاده قرار دهیمتو آن بزنامه کاربردی: را هج یه مدت کافی مورد تست و ارزیابی قرار دهیم تا بتوانيم کارایی آن را بسنجیم؛ ممکن است هزینه این تصمیمات زياد باشد. © همجنين اكر بخواهيم جند آنتولوزى را با هم مقايسه نماييم بايد همه آن ها را در آن برنامه كاربردى مورد استفاده قرار دهيم؛ كه اين امر هزينه ها را بشدت افزايش مى دهد... 

صفحه 17:
۲. روشهای چند معیاره © تعريف و توجیه معیارهای ارزیابی ‎٩‏ بیان نقش و اهمیت این معیارها برای ارزیابی آنتولوژی ها ‎٩‏ یکپارچه کردن کمیت هر یک از اين معیارها با پهره گیری از یک فرمول متاینب نظراحی شیده. ‏© محاسبه ی یک کمیت نهایی که مبین میزان کیفیت آنتولوژی می باشد. 

صفحه 18:
۴ روش میتنی بر افراد خبره 7 در روش مبتنى بر افراد خبره در واقع بیش از آنکه بحث فنی داشته باشد. مباحث فلسفی و انسانی در آن مطرح است. ‎٩‏ در این روش» یک فرد خبره که در حوزه مذکور بعنوان یک فرد متخصص شناخته می شود آنتولوژی را بصورت دستی و با روشهای نظری و بطور غیرخودکار مورد ارزیابی و سنجش قرار می دهد. 

صفحه 19:
بررسی مدلی ‎Gaby aS) ly‏ آنتولوژی های بازیابی شده از موتورهای جستجوی آنتولوژی ‎٩‏ همانطور که پیش تر گفته شد از یک سوه آنتولوژی ها بعنوان عنصر پایه در سیستم های مبتنی بر دانش مطرح می باشند و تمایل به سمت استفاده از آنها بسيار زياد مى باشد. از سوى ديكرء طراحىء توسعه و بروزرسانی آنتولوزى هاى خوب و دقيق» كار سخت و زمانبرى مى باشد كه نياز به دقت و تخصص دارد. ‏© در نتيجه مشابه همان موضوعى كه در مورد توسعه سيستم هاى نرم افزارى مطرح است» یعنی بحث استفاده مجدد. در اینجا هم مطرح است و استفاده مجدد از آنتولوژی های موجود. مطلوب است. 

صفحه 20:
نموه ی عملکرد ]5۱۷/0061 ° موتور جستجوی آنتولوژی 5۷۷000651 فراهم آوردن واسطی برای جستجوی آنتولوژی های موجود در مخزن آن بر حسب کلمه کلیدی مورد نظر. © اما مساله اصلى كه سعى در بهبود آن داريمءآن است كه .ا 51/006 عمل جستجو را فقط بر حسب کلمه کلیدی کاربر انجام می دهد و نه بر حسب معیارهای معنایی. 2 در واقع می توان اینگونه بیان کرد که 5۷۷/001۴ مانند 600916 دارای یک 6۲۳۵۷۷۱6۲ است که بر روی ۷۷60 به جستجوی آنتولوژی ها می پردازد و آنها را 006 می کند. سپس به هر یک از این آنتولوژی ها یک ۲31۱ می دهد. همانند کاری که 900916 با استفاده از الگوریتم 080682101 خود انجام می دهد. 

صفحه 21:
نموه ی عملکرد 9۱۷/001 (ادامه) ‎٩‏ 5۷۷006۱ برای رتبه بندی آنتولوژی ها از الگوریتمی شبیه استفاده می کند و آنتولوژی هایی را که در آنتولوژی های بیشتری 10]00۲ شده باشند را در اولویت قرار می دهد. ‏© در حاليكه اين ترتيب لزوما مناسب نیست و ترتیب ننایج باید بر حسب میزان نزدیکی معنایی آنتولوژی ها با کلمه کلیدی کاربر تعیین شود. یعنی آنتولوژی ای در اولویت قرار گیرد که از نظر معنایی به کلمه يا کلمات کلیدی کاربر نزدیک تر باشد. ‏2 بدین ترتیب» مشکل اصلی آن است که جستجو 5۷۷0061 در واقع یک جستجوی 66۱/۷۷۵۲۵-03560 و بدون توجه به معناء می باشد. 

صفحه 22:
راه هل پیشنهادی 2 معرفی یک چارچوب با عنوان ۸۸۲1۷6۳۵۲۱1 . © ايده اصلی: یک موتور جستجو بايد آنتولوزى ها را بر حسب نزديكى ساختارى و معنايى آنها با كلمه كليدى كاربرء رتبه بندى نمايد. © روال كار اين جارجوب بدين ترتيب است كه كاربر با استفاده از واسطى که ۸۲1۷6۵۲۱۲ فراهم می کند کلمه كليدى خود (مثلا نام کلاسهایی که می خواهد آنتولوژی های جواب آن کلاسها را داشته باشند) را وارد کرده و به جستجو می پردازد. 

صفحه 23:
راه هل پیشنهادی (ادامه) 2 در واقع ۸۵۲۱۷6۵۳۸ در پشت صحنه از 5۷۷/0061۶ استفاده می کند و در واقع 5۷۷001 عمل جستجو را انجام می دهد و ‎1١1©‏ عمل رتبه بندی و ارائه نتایج نهایی به کاربر را بر عهده دارد. 9 ۸۵۱۲۱۷66۵۳۲ برای رتبه بندی آنتولوژی های نتایج از ۴ معیار استفاده می کند و برای هر یک از آنتولوژی هاء مقدار این ۴ معیار را محاسبه کرده و سپس با ترکیب این ۴ مقدا, یک مقدار نهایی برای هر آنتولوژی بدست می آورد و سپس آنتولوژی ها را بر حسب این مقدار 0 نهایی» رتبه بندی می نماید. 

صفحه 24:
معیارهای رتبه بندی CMM: Class Match Measure ,l....) © منهوم این معیار آن است که در آنتولوژی مورد ارزیابی, چه تعداد از کلمات کلیدی کاربر بعنوان نام کلاسها, استفاده شده اند. © بدين ترتيب هرجه مقدار معيار 01/11/1) براى يك آنتولوزى بیشتر باشد این بدان معناست که آن آنتولوژی به میزان بیشتری مفاهیم مربوط به كلمات کلیدی مورد نظر کاربر را پوشش می دهد و آن کلمات کلیدی در آن آنتولوژی از جایگاه مهمی برخوردار می باشند. 

صفحه 25:
معیارهای رتبه بندی (ادامه) DEM: Density ۳۱6۵5۷۲6 ‏معیار‎ ۲ 2 اين معيار مشخص کننده آن است که آنتولوژی مورد ارزیابی. کلمات کلیدی مورد نظر کاربر را تا چه حد و تا چه عمقی (تعداد خصیصه ها و زیر کلاس ها) مورد پوشش قرار می دهد و به چه میزان جزئیات آن مفهوم و آن کلمه کلیدی را در بر می گیرد. ‎٩‏ هر جه مقدار اين معيار براى يك آنتولوژی بیشتر باشد اين بدان معناست که آن آنتولوژی, کلمه کلیدی مورد نظر را با جزئیات بیشتری مورد تعریف و پوشش قرار ی دهد. ‎٩‏ برای محاسبه مقدار ‎01۷٩‏ تعداد زیرکلاسهاء 06۲61355 لا5 هاء روابط و ‏© 3011059 هائيز مود توج ارس كرد 

صفحه 26:
معیارهای رتبه بندی (ادامه) SSM: Semantic Similarity Measure ‏معیار‎ ۴۳ 7 اين معيار مشخص می کند که کلاسهای موجود در آنتولوژی» که نامشان با کلمات كليدى كاربر مطابقت دارد (مطابقت جزئى يا كامل) تا جه حد به هم نزديكى معنايى دارند. هر جه آن كلاسهاء با هم. رابطه و نزديكى معنايى بيشترى داشته باشند اين بدان معناست كه مفاهيم مستتر در کلمات کلیدی مذکور به شکل کاملتری (بهمراه مفاهیم نزدیک و مرتبط بیشتری) بیان شده اند. ‎٩‏ برای اندازه گیری میزان نزدیکی این کلاسها با هم. از معیار نزدیکترین مسیر استفاده شده است. ايده اصلی آن است که هر چه دو مفهوم ۸ و ۴ از نظر معنایی ارتباط بیشتری با هم داشته باشند. کلاسهای معادل این دو مفهوم در آنتولوژی نیز به هم ‎ 

صفحه 27:
معیارهای رتبه بندی (ادامه) BEM: Betweenness Measure ‏معیار‎ > ‎٩‏ ایده اصلی اين معیار آن است که اگر کوتاهترین مسیر بین هر دو زوج مفهوم موجود در آنتولوژی را مشخص نماییم. آنگاه اگر برای یک مفهوم. تعداد کوتاهترین مسیرهایی که از این دو مفهوم می گذرند را محاسبه نماییم» هر چه ان مقدار بزرگتر باشده اين بدان معناست که آن مفهوم. در آن آنتولوژی, نقش مهمتر و کلیدی ‎EF‏ ‏داشته است و از محوریت و مرکزیت بیشتری برخوردار است. ‎٩‏ هرچه کلمات کلیدی مورد نظر کاربر در يك آنتولوژی از جایگاه مهمتر و مرکزی ‏تری برخوردار باشند. آن آنتولوژی» به مفاهیم مورد نظر کاربر توجه بیشتری داشته ‏0 است و به آن مفاهیم نزدیکتر می باشد. در نتیجه آن آنتولوژی از کیفیت و اولوبت بیشتری برخوردار است. 

صفحه 28:
معیارهای رتبه بندی (ادامه) ‎٩‏ همانطور که پیشتر گفته شد در پایان پس از محاسبه مقدار اين ۴ کمیت ‏برای هر آنتولوژی, یک مقدار نهایی برای آن آنتولوژی محاسبه می شود (ترکیب وزندار ۴ کمیت مذکور) که میزان ارزش و قرابت معنایی آن آنتولوژی با کلمات کلیدی مورد نظر کاربر را مشخص می کند. ‎٩‏ سپس بر اساس این مقادیر نهایی. آنتولوژی ها رتبه بندی می شوند. 

صفحه 29:
جمع بندی و نتیجه کیری ‎٩‏ در حال حاضر هیچ روش استانداردی برای ارزیابی آنتولوژی موجود نمی باشد. ‎٩‏ در انتخاب روش ارزیابی یک آنتولوژی, بايد به اينكه هدف ارزيا همچنین به اينکه آن آنتولوژی قرار است در چه کاربردی مورد استفاه واقع شود توجه نمود. ‏چه می باشد و ‎ ‎ ‎ ‏0 خودکارسازی ارزیابی آنتولوژی از اهمیت بالایی برخوردار است چون با توجه به دورنمایی که از نقش و اهمیت آنتولوژی ها در وب معنایی وجود دارده نيازمن روشهایی هستیم که با حداقل دخالت نیروی انسانی, قادر به ارزیابی یک آنتولوژی باشند. ‎ ‎٩‏ توجه به ویژگی های وب معنایی برای ارائه یک روش ارزیابی آنتولوژی که با نیازهای وب معنایی سازگار باشد مهم است. بدین ترتیب باید ‎sigs] CONTEXT‏ ‏را نیز در روش ارزیابی دخیل نماییم. 

صفحه 30:
منابع [1]_H. Alani, Ch. Brewster, "Metrics for Ranking Ontologies", University of Southampton and University of Sheffield, EON 2006. [2] X. Zhang, G. Cheng, Y. Qu, "Ontology Summarizatoin Based on RDF Sentence Graph", 16th International World Wide Web Conference, 2007. [3] S. Dasgupta and ¥. Lee, "Relation Oriented Ontology Summerization". 2007,University of Missouri - KC. [4] X. Zhang, H. Li, ¥. Qu, "Finding Important Vocabulary within Ontology", 1st Asian Semantic Web Conference (ASWC), 2006. 

صفحه 31:
با سياس از توجه شما 71 0 ی تفت سس ات با 

‏ONTOLOGY ‏EVALUATION ارزیابی آنتولوژی ارائه دهنده :احمد استيري زير نظر :دكتر کاهانی دانشگاه فردوسي مشهد بهار 90 مطالب مقدمه اهمیت ارزیابی آنتولوژی ها روشهای اصلی ارزیابی آنتولوژی ها بررسی مدلی برای رتبه بندی آنتولوژی های بازیابی شده از موتورهای جستجوی آنتولوژی جمع بندی و نتیجه گیری منابع 2 مقدمه 3 ‏ امروزه نقش و کاربرد آنتولوژی در سیستم های مبتنی بر دانش بسیار قابل توجه است. ‏ آنتولوژی بعنوان یک ابزار قدرتمند برای نمایش و بیان دانش مربوط به یک حوزه در یک قالب رسمی و قابل پردازش توسط ماشین ،مطرح است. ‏ به کمک آن می توان ارتباط بین سیستم های ناهمگون را برقرار کرد و تعامل و ارتباط متقابل بین برنامه ها ،ماشینها ،و سیستم های ناهمگون را بهبود داد. ‏ اگر چه وعده آنتولوژی ها حل مشکل تعامل سیستم های ناهمگون می باشد ،اما در عمل، خود آنتولوژی ها ،سطحی از ناهمگونی را به سیستم اضافه می نمایند. اهمیت ارزیابی آنتولوژی ها با توجه به نقش مهم آنتولوژی در سیستم های مبتنی بر دانش ،موضوع ارزیابی و نحوه بررسی کیفیت آنتولوژی از اهمیت باالیی برخوردار می باشد .طبیعتا اگر قرار است آنتولوژی ها بعنوان عناصر اصلی وب معنایی استفاده شوند ،باید بتوان به روشی اعتبار آنها را از نظر کیفی مورد سنجش قرار داد. در حال حاضر هیچ روش استانداردی برای ارزیابی آنتولوژی وجود ندارد و این زمینه بعنوان یک زمینه مناسب جهت کار و پژوهش مطرح می باشد. 4 روشهای اصلی ارزیابی آنتولوژی ها .1روشهای مبتنی بر مقایسه با یک مدل مرجع ()golden standard .2روش مبتنی بر application .3روشهای چند معیاره .4روش مبتنی بر افراد خبره .... .5 5  .1روشهای مبتنی بر مقایسه با یک مدل مرجع مقایسه ی آنتولوژی مورد نظر با یک آنتولوژی یا یک منبع اطالعاتی دیگر که بعنوان مرجع و منبع اصلی در حوزه مورد بحث شناخته شده است. مثال :ارزیابی یک آنتولوژی مربوط به حوزه تست نرم افزار اگر آنتولوژی شناخته شده و مرجعی وجود داشته باشد آن را به عنوان مرجع مقایسه انتخاب می کنیم. اگر هم چنین آنتولوژی ای موجود نباشد منابع دیگر را مورد استفاده قرار می دهیم .مثال یکسری مستندات رسمی و دقیق را که دانش مربوط به حوزه تست نرم افزار را بخوبی در بر گرفته است ،انتخاب کرده و آنتولوژی را با آن مقایسه می نماییم. 6 مقایسه آنتولوژی با آنتولوژی مدل مرجع :یک آنتولوژی کار ما مقایسه آنتولوژی با آنتولوژی خواهد بود و کار ساده تر از حالت دوم است. در این حالت می توانیم اجزای آنتولوژی اول را با آنتولوژی مرجع مقایسه نموده و هر چه تشابه این دو آنتولوژی بیشتر باشد آنتولوژی مورد بررسی به آنتولوژی مرجع نزدیکتر است و در نتیجه می توان گفت که از کیفیت باالتری برخوردار است. منظور از اجزای آنتولوژی ،کالسها ،روابط ،خصیصه ها ،قیود و نمونه ها می باشند. 7 خالصه سازی آنتولوژی (ONTOLOGY )SUM M ARIZATION منظور از خالصه سازی یک آنتولوژی ،آن است که مهمترین قسمت های یک آنتولوژی را استخراج کنیم و در قالب یک آنتولوژی جدید ذخیره نماییم .بدین ترتیب با حذف جزئیات غیر ضروری ،می توانیم فهم و درک آنتولوژی را ساده تر کنیم. مساله :فرض کنید می خواهید برای یک کاربرد خاص ،از آنتولوژی استفاده کنید. ایده :در موتورهای جستجوی مخصوص ،نظیر ،SWOOGL Eجستجو کنید و ببینید آیا در حال حاضر در زمینه مورد نظر شما ،آنتولوژی آماده ای وجود دارد یا خیر. انتخاب آنتولوژی مورد نظر ما با توجه به ارزیابی آنتولوژی های پیشنهادی موجود. 8 خالصه سازی آنتولوژی (ادامه) 9 بررسی و ارزیابی یک نسخه ی سبک و خالصه شده از آنتولوژی ها بدون ذکر جزئیات اضافی ،کار ساده تری است. راه حل اول :بهره گیری از Visualizerمناسب. امکان نمایش آنتولوژی در سطوح مختلفی از جزئیات جهت مشاهده و ارزیابی آن در سطوح مختلف برای کاربران. مشکل :همواره نمی توان به امکانات Visualizerها تکیه کرد .بعنوان مثال در برخی کاربردها ،الزم است که یک عامل نرم افزاری ،یک آنتولوژی را بررسی کند(مثال در بحث ارزیابی و انتخاب آنتولوژی توسط عامل نرم افزاری ،این مساله پیش می آید). در این حالت بحث مشاهده بصری در مورد آن صدق نمی کند و بایستی تمهیدات دیگری را جهت بهبود مساله بیندیشیم. خالصه سازی آنتولوژی (ادامه) راه حل :تهیه ی یک نسخه ی خالصه شده از آنتولوژی ها بدون ذکر جزئیات اضافی. اگر بجای بررسی کل آنتولوژی ،یک نسخه خالصه شده آن را مورد پردازش قرار دهد ،قاعدتا کارایی بهتری حاصل خواهد شد. بنابراین ،انگیزه اصلی برای بحث خالصه سازی آنتولوژی ،همان درک و پردازش ساده تر آن ،چه توسط انسان و چه توسط ماشین ،می باشد. در این زمینه کارهای بسیار کمی انجام شده است که می توان از ایده ها و نظریه های مطرح شده در زمینه خالصه سازی متن ( )Text Summarizatioinدر این حیطه نیز بهره گرفت. 10 مقایسه آنتولوژی با مستندات رسمی و دقیق علمی مدل مرجع :مجموعه ای از مستندات رسمی و دقیق علمی باز هم به مقایسه اجزای آنتولوژی با اجزای آن مجموعه مستندات می پردازیم و هرچه تشابه بیشتری بین آنها وجود داشته باشد ،کیفیت آنتولوژی باالتر است چون دانش نمایش داده شده در آن آنتولوژی با دانش بیان شده در آن مجموعه مستندات تشابه بیشتری دارد. 11 مساله :محدودیت در مورد اجزای مورد مقایسه. روش ساده آن است که منظور از اجزا ،را فقط اجزای متنی بدانیم یعنی فقط لغات، عبارات و کلمات کلیدی موجود در مستندات مرجع را با نام کالسها ،روابط و خصیصه های آنتولوژی مقایسه نماییم. به بیان دیگر در این حالت به نوعی مقایسه ما صرفا یک مقایسه در سطح syntaxاست و نه یک مقایسه در سطح . semantic مقایسه آنتولوژی با مستندات رسمی و دقیق علمی(ادامه) یعنی مثال بررسی می کنیم که چنددرصد از کلمات کلیدی مستندات مرجع ،در نام عناصر آنتولوژی استفاده شده است .اما نمی توانیم (یا خیلی سخت است که) بررسی کنیم چه میزان از ساختارها و روابط موجود در مستندات مرجع ،در ساختار آنتولوژی ذخیره شده است. ‏ معیارهای ارزیابی در این روش: :precision نسبت تعداد مفاهیمی از آنتولوژی که در مرجع مورد استفاده نیز ذکر شده اند به تعداد کل مفاهیمی که در آنتولوژی موجود می باشند. :recall نسبت تعداد مفاهیم و کلمات کلیدی موجود در مرجع مورد استفاده که در آنتولوژی هم موجود می باشند به تعداد کل مفاهیم موجود در مرجع مذکور. 12 یک سوال اساسی! اگر در یک زمینه ،آنتولوژی مناسب و استانداردی وجود داشته باشد که دیگر نیاز بlllه ایجاد آنتولوژی در آن حوزه نمی باشد ،در نتیجه موضوع مقایسه یک آنتولوژی با یک آنتولوژی مرجع ،به چه معناست و آیا اصال موضوعیت دارد یا خیر؟ 13 پاسخ :گاهی اوقات ،بحث ارزیابی یک آنتولllوژی خllودش یllک بحث جنبی اسllت و بعنوان یک ابزار برای ارزیابی موضllوع دیگری مllورد اسllتفاده قرار می گllیرد و در اینصورت اشکال فوق مطرح نمی باشد. مثال :ارزیابی الگوریتم های تولید خودکllار آنتولllوژی با اسllتفاده از یکسری متllون تخصصی با بهره گیری از مباحثی از جمله ontology learningو ....با ارزیابی آنتولوژی تولید شده توسط الگوریتم با آنتولوژی های مرجع موجllود در زمینllه ی مورد نظر.  .2روش مبتنی بر APPLICATION در این روش ،آنتولوژی ای که می خواهیم ان را ارزیابی نماییم ،را در یک برنامه کاربردی مورد استفاده قرار می دهیم و سپس بر اساس میزان تاثیر مثبتی که استفاده از آن آنتولوژی در برنامه کاربردی مذکور دارد ،به سنجش کیفیت آنتولوژی مورد نظر می پردازیم. مشکالت: 14 اوال :باید ابتدا یک برنامه کاربردی مناسب برای حوزه مربوط به آن آنتولوژی ،در دسترس باشد و بتوانیم آن برنامه کاربردی را برای استفاده از آن آنتولوژی، customizeکنیم و آنتولوژی را با آن integrateنماییم .این موارد کارهای ساده ای نیستند و همیشه امکان چنین کاری وجود ندارد.  .2روش مبتنی بر ( APPLICATIONادامه) ثانیا :اینکه کارایی برنامه کاربردی را به چه میزان و بر اساس چه قاعده ای به کارایی آنتولوژی مورد استفاده مرتبط نماییم ،خودش جای بحث دارد. یعنی بالفرض که یک آنتولوژی را در یک برنامه کاربردی بکار بردیم و کارآیی آن را اندازه گرفتیم ،حال آیا نباید فاکتورهای دیگری را نیز در این افزایش یا کاهش کارایی دخیل بدانیم؟ آیا می توانیم تمام این تغییر کارایی را به آنتولوژی مورد استفاده مربوط بدانیم؟ برنامه کاربردی باید چه ویژگی هایی داشته باشد تا کیفیت آنتولوژی را بخوبی منعکس نماید؟ 15  .2روش مبتنی بر ( APPLICATIONادامه) ثالثا :اینکه بخواهیم یک آنتولوژی را قبل از ارزیابی ،در یک برنامه کاربردی بطور کامل مورد استفاده قرار دهیم و آن برنامه کاربردی را هم به مدت کافی مورد تست و ارزیابی قرار دهیم تا بتوانیم کارایی آن را بسنجیم ،ممکن است هزینه این تصمیمات زیاد باشد. همچنین اگر بخواهیم چند آنتولوژی را با هم مقایسه نماییم باید همه آن ها را در آن برنامه کاربردی مورد استفاده قرار دهیم ،که این امر هزینه ها را بشدت افزایش می دهد... 16  .3روشهای چند معیاره تعریف و توجیه معیارهای ارزیابی بیان نقش و اهمیت این معیارها برای ارزیابی آنتولوژی ها یکپارچه کردن کمیت هر یک از این معیارها با بهره گیری از یک فرمول مناسب طراحی شده. محاسبه ی یک کمیت نهایی که مبین میزان کیفیت آنتولوژی می باشد. 17  .4روش مبتنی بر افراد خبره در روش مبتنی بر افراد خبره در واقع بیش از آنکه بحث فنی داشته باشد، مباحث فلسفی و انسانی در آن مطرح است. در این روش ،یک فرد خبره که در حوزه مذکور بعنوان یک فرد متخصص شناخته می شود ،آنتولوژی را بصورت دستی و با روشهای نظری و بطور غیرخودکار مورد ارزیابی و سنجش قرار می دهد. 18 بررسی مدلی برای رتبه بندی آنتولوژی های بازیابی شده از موتورهای جستجوی آنتولوژی همانطور که پیش تر گفته شد از یک سو ،آنتولوژی ها بعنوان عنصر پایه در سیستم های مبتنی بر دانش مطرح می باشند و تمایل به سمت استفاده از آنها بسیار زیاد می باشد .از سوی دیگر ،طراحی ،توسعه و بروزرسانی آنتولوژی های خوب و دقیق ،کار سخت و زمانبری می باشد که نیاز به دقت و تخصص دارد. در نتیجه مشابه همان موضوعی که در مورد توسعه سیستم های نرم افزاری مطرح است ،یعنی بحث استفاده مجدد ،در اینجا هم مطرح است و استفاده مجدد از آنتولوژی های موجود ،مطلوب است. 19 نحوه ی عملکرد SWOOGL E 20 موتور جستجوی آنتولوژی SWOOGL Eفراهم آوردن واسطی برای جستجوی آنتولوژی های موجود در مخزن آن بر حسب کلمه کلیدی مورد نظر. اما مساله اصلی که سعی در بهبود آن داریم،آن است که SWOOGL E عمل جستجو را فقط بر حسب کلمه کلیدی کاربر انجام می دهد و نه بر حسب معیارهای معنایی. در واقع می توان اینگونه بیان کرد که SWOOGL Eمانند ،Googleدارای یک crawlerاست که بر روی webبه جستجوی آنتولوژی ها می پردازد و آنها را indexمی کند .سپس به هر یک از این آنتولوژی ها یک rankمی دهد .همانند کاری که googleبا استفاده از الگوریتم pageRankخود انجام می دهد. نحوه ی عملکرد ( SWOOGL Eادامه) SWOOGL E برای رتبه بندی آنتولوژی ها از الگوریتمی شبیه PageRankاستفاده می کند و آنتولوژی هایی را که در آنتولوژی های بیشتری importشده باشند را در اولویت قرار می دهد. 21 در حالیکه این ترتیب لزوما مناسب نیست و ترتیب نتایج باید بر حسب میزان نزدیکی معنایی آنتولوژی ها با کلمه کلیدی کاربر تعیین شود .یعنی آنتولوژی ای در اولویت قرار گیرد که از نظر معنایی به کلمه یا کلمات کلیدی کاربر نزدیک تر باشد. بدین ترتیب ،مشکل اصلی آن است که جستجو SWOOGL Eدر واقع یک جستجوی keyword-basedو بدون توجه به معنا، می باشد. راه حل پیشنهادی معرفی یک چارچوب با عنوان . AKTiveRank ایده اصلی :یک موتور جستجو ،باید آنتولوژی ها را بر حسب نزدیکی ساختاری و معنایی آنها با کلمه کلیدی کاربر ،رتبه بندی نماید. روال کار این چارچوب بدین ترتیب است که کاربر با استفاده از واسطی که AKTiveRankفراهم می کند کلمه کلیدی خود (مثال نام کالسهایی که می خواهد آنتولوژی های جواب ،آن کالسها را داشته باشند) را وارد کرده و به جستجو می پردازد. 22 راه حل پیشنهادی (ادامه) در واقع AKTiveRankدر پشت صحنه ،از SWOOGL E استفاده می کند و در واقع SWOOGL Eعمل جستجو را انجام می دهد و AKTiveRankعمل رتبه بندی و ارائه نتایج نهایی به کاربر را بر عهده دارد. 23 AKTiveRank برای رتبه بندی آنتولوژی های نتایج ،از 4معیار استفاده می کند و برای هر یک از آنتولوژی ها ،مقدار این 4معیار را محاسبه کرده و سپس با ترکیب این 4مقدار ،یک مقدار نهایی برای هر آنتولوژی بدست می آورد و سپس آنتولوژی ها را بر حسب این مقدار نهایی ،رتبه بندی می نماید. معیارهای رتبه بندی .1معیار CM M : Class M atch M easure مفهوم این معیار آن است که در آنتولوژی مورد ارزیابی ،چه تعداد از کلمات کلیدی کاربر بعنوان نام کالسها ،استفاده شده اند. بدین ترتیب هرچه مقدار معیار CM Mبرای یک آنتولوژی بیشتر باشد این بدان معناست که آن آنتولوژی به میزان بیشتری مفاهیم مربوط به کلمات کلیدی مورد نظر کاربر را پوشش می دهد و آن کلمات کلیدی در آن آنتولوژی از جایگاه مهمی برخوردار می باشند. 24 معیارهای رتبه بندی (ادامه) .2معیار DEM : Density M easure 25 این معیار مشخص کننده آن است که آنتولوژی مورد ارزیابی ،کلمات کلیدی مورد نظر کاربر را تا چه حد و تا چه عمقی (تعداد خصیصه ها و زیر کالس ها) مورد پوشش قرار می دهد و به چه میزان جزئیات آن مفهوم و آن کلمه کلیدی را در بر می گیرد. هر چه مقدار این معیار برای یک آنتولوژی بیشتر باشد این بدان معناست که آن آنتولوژی ،کلمه کلیدی مورد نظر را با جزئیات بیشتری مورد تعریف و پوشش قرار می دهد. برای محاسبه مقدار ،DEMتعداد زیرکالسها superclass ،ها ،روابط و siblingها نیز مورد توجه قرار می گیرد. معیارهای رتبه بندی (ادامه) .3معیار SSM : Semantic Similarity M easure این معیار مشخص می کند که کالسهای موجود در آنتولوژی ،که نامشان با کلمات کلیدی کاربر مطابقت دارد (مطابقت جزئی یا کامل) تا چه حد به هم نزدیکی معنایی دارند .هر چه آن کالسها ،با هم ،رابطه و نزدیکی معنایی بیشتری داشته باشند این بدان معناست که مفاهیم مستتر در کلمات کلیدی مذکور به شکل کاملتری (بهمراه مفاهیم نزدیک و مرتبط بیشتری) بیان شده اند. 26 برای اندازه گیری میزان نزدیکی این کالسها با هم ،از معیار نزدیکترین مسیر استفاده شده است .ایده اصلی آن است که هر چه دو مفهوم Aو Bاز نظر معنایی ارتباط بیشتری با هم داشته باشند ،کالسهای معادل این دو مفهوم در آنتولوژی نیز به هم نزدیکتر می باشند. معیارهای رتبه بندی (ادامه) .4معیار BEM : Betweenness M easure ایده اصلی این معیار آن است که اگر کوتاهترین مسیر بین هر دو زوج مفهوم موجود در آنتولوژی را مشخص نماییم ،آنگاه اگر برای یک مفهوم ،تعداد کوتاهترین مسیرهایی که از این دو مفهوم می گذرند را محاسبه نماییم ،هر چه این مقدار بزرگتر باشد ،این بدان معناست که آن مفهوم ،در آن آنتولوژی ،نقش مهمتر و کلیدی تری داشته است و از محوریت و مرکزیت بیشتری برخوردار است. 27 هرچه کلمات کلیدی مورد نظر کاربر ،در یک آنتولوژی از جایگاه مهمتر و مرکزی تری برخوردار باشند ،آن آنتولوژی ،به مفاهیم مورد نظر کاربر توجه بیشتری داشته است و به آن مفاهیم نزدیکتر می باشد .در نتیجه آن آنتولوژی از کیفیت و اولویت بیشتری برخوردار است. معیارهای رتبه بندی (ادامه) همانطور که پیشتر گفته شد ،در پایان پس از محاسبه مقدار این 4کمیت برای هر آنتولوژی ،یک مقدار نهایی برای آن آنتولوژی محاسبه می شود (ترکیب وزندار 4کمیت مذکور) که میزان ارزش و قرابت معنایی آن آنتولوژی با کلمات کلیدی مورد نظر کاربر را مشخص می کند. سپس بر اساس این مقادیر نهایی ،آنتولوژی ها رتبه بندی می شوند. 28 جمع بندی و نتیجه گیری ‏ در حال حاضر هیچ روش استانداردی برای ارزیابی آنتولوژی موجود نمی باشد. در انتخاب روش ارزیابی یک آنتولوژی ،باید به اینکه هدف ارزیابی چه می باشد و همچنین به اینکه آن آنتولوژی قرار است در چه کاربردی مورد استفاه واقع شود ،توجه نمود. ‏ خودکارسازی ارزیابی آنتولوژی از اهمیت باالیی برخوردار است چون با توجه به دورنمایی که از نقش و اهمیت آنتولوژی ها در وب معنایی وجود دارد ،نیازمند روشهایی هستیم که با حداقل دخالت نیروی انسانی ،قادر به ارزیابی یک آنتولوژی باشند. توجه به ویژگی های وب معنایی برای ارائه یک روش ارزیابی آنتولوژی که با نیازهای وب معنایی سازگار باشد مهم است .بدین ترتیب باید contextآنتولوژی را نیز در روش ارزیابی دخیل نماییم. ‏ ‏ 29 منابع [1] H . Alani, Ch. Brewster, "M etrics for Ranking Ontologies", U niversity of Southampton and U niversity of Sheffield, EON 2006. [2] X. Zhang, G. Cheng, Y. Qu, "Ontology Summarizatoin Based on RDF Sentence Graph", 16th International World Wide Web Conference, 2007. [3] S. Dasgupta and Y. L ee, "Relation Oriented Ontology Summerization". 2007,U niversity of M issouri - KC. [4] X. Zhang, H . L i, Y. Qu, "F inding I mportant Vocabulary within Ontology", 1st Asian Semantic Web Conference (ASWC), 2006. 30 با سپاس از توجه شما http://Ahmad.Estiri.fumblog.um.ac.ir 31