کارگاه طراحی سوالات چند گزینه ای (MCQ) و ارزشیابی آموزشی آن
اسلاید 1: بسم الله الرحمن الرحیم
اسلاید 2: کارگاه طراحی سوالات چند گزینه ای (MCQ) و ارزشیابی آموزشی آنتهیه و تنظیم:نسرین شهمیری / کارشناسی ارشد مامایی دانش آموخته دانشگاه علوم پزشکی تهرانnasrin_shahmiri@yahoo.com
اسلاید 3: فهرست مطالب هرم میلر و انواع ارزشیابی دانشجویان پزشکی و پیرا پزشکی حیطه های اهداف یادگیری بلوم و انواع تاکسونومی سوالات چند گزینه ای تعریف سوالات چند گزینه ای و نحوه طراحی آنروایی و پایایی سوالات چند گزینه ای مزایا و معایب سوالات چند گزینه ای چک لیست میلمن جهت بررسی سوالات چند گزینه ای
اسلاید 4: “ Assessment Drives Student Learning.”George E Miller (MD)1919-1998بنیانگذار دپارتمان آموزش پزشکی در دانشگاه Illinoise، کالج پزشکی شیکاگو
اسلاید 5: “Assessment drives learning in at least four ways: its content, its format, its timing and any subsequent feedback given to the examinee.”van der Vleuten, C. (1996) The Assessment of Professional Competence: Developments, Research and Practical Implications, Advances in Health Sciences Education, 1, pp. 41–67.پروفسور وَندر وِلوتِن ، دانشگاه Masstricht در هلند ( دپارتمان توسعه آموزش و تحقیق )
اسلاید 6: انواع ارزشیابی دانشجویان پزشکی در سال 1990 جرج میلِر یک مدل سلسله مراتبی برای ارزشیابی صلاحیت بالینی دانشجویان پزشکی پیشنهاد نموداین مدل با ارزشیابی حیطه شناختی آغاز می شود و با ارزشیابی حیطه عملکرد و رفتار پایان می یابد.همانطور که در سلسله مراتب این مدل به سمت بالا حرکت می کنیم، صحت ( اصالت ) حرفه ای افزایش و شیوه های ارزشیابی به عملکرد واقعی در محیط بالینی شباهت می یابد. ارزشیابی حیطه شناختی با دانش و اطلاعات فرد مرتبط می باشد ( می داند، می داند چطور انجام دهد)ارزشیابی رفتار با ارزشیابی صلاحیت فرد تحت شرایط کنترل شده مرتبط می باشد ( دانشجو روی مانکن یا در محیط آزمایشگاهی نحوه انجام کار را نشان می دهد) و سپس صلاحیت و عملکرد فرد در محیط بالینی واقعی مورد ارزشیابی قرار می گیرد ( دانشجو در محیط بالینی واقعی کار را انجام می دهد )ابزارهای ارزشیابی متفاوتی متناسب با هر یک از سطوح مختلف این مدل سلسله مراتبی وجود دارد.
اسلاید 7:
اسلاید 8: انواع ارزشیابی دانشجویان پزشکی (ادامه...)پروفسور وندر ولوتن، مدلی مفهومی برای مفید بودن یک ابزار ارزشیابی پیشنهاد نمود.معیارهای این مدل برای قضاوت در مورد سودمند بودن یک ابزار آموزشی شامل موارد زیر است:روایی (Validity): آیا ابزار ارزشیابی، مورد مفروض را اندازه می گیرد؟پایایی (Reliability): آیا ابزار ارزشیابی در هر بار استفاده، مورد مفروض را اندازه می گیرد؟تاثیر آموزشی (Educational impact): ارزشیابی چه تاثیری بر تدریس و یادگیری داشته است؟مقبولیت (Acceptability): آیا ابزار ارزشیابی، مورد قبول کارکنان، دانشجویان و سایر افراد ذینفع می باشد؟
اسلاید 9: انواع ارزشیابی دانشجویان پزشکی (ادامه...)وزن دهی به هر یکی از معیارهای پروفسور وَندروِلوتِن، برای قضاوت در مورد یک شیوه یا ابزار ارزشیابی، بستگی به هدفی دارد که ما برای رسیدن به آن، از ابزار ارزشیابی مورد نظر استفاده می کنیم.برای مثال برای ارزشیابی تراکمی (Summative)، مانند انتخاب، ارتقا یا ارائه گواهی، معیار پایایی مهمتر استاز طرفی برای ارزشیابی تکوینی (Formative)، نظیر تشخیص(diagnosis)، بازخورد (feedback) و بهبود تحصیلی (improvement)، معیارِ تاثیر آموزشی (educational impact) از اولویت بیشتری برخودار است.
اسلاید 10: انواع ارزشیابی دانشجویان پزشکی (ادامه...)صرف نظر از هدف ارزشیابی، احتمال آنکه یک نوع شیوه ارزشیابی بتواند تمامی حیطه های صلاحیت یک دانشجو را اندازه گیری نماید بسیار بعید است.بنابراین برای ارزشیابی دانشجویان پزشکی شیوه ها و ابزارهای متنوعی لازم است.با توجه به اینکه هر یک از شیوه های ارزشیابی مزایا و معایبی دارند، به کارگیری شیوه های متنوعی از ارزشیابی طی فرایند آموزش دانشجویان، باعث می شود کمبودها و نقاط ضعف یک روش با مزایای روشی دیگر جبران شود.
اسلاید 11: انواع ارزشیابی دانشجویان پزشکی (ادامه...)شیوه های ارزشیابی دانش و آگاهی (Knowledge):Multiple Choice QuestionsKey Features QuestionsShort Answer QuestionsEssay QuestionsScript Concordance Test (SCT)شیوه های ارزشیابی عملکرد و کارایی (Performance):ChecklistsRating ScalesObjective Structured Clinical Examination(OSCE)Short and Long Cases360º EvaluationMini Clinical Evaluation Exercises (Mini-CEX)Portfolios
اسلاید 12: حیطه های اهداف یادگیری پروفسور بِنجامین بلومهدف های آموزشی بسیار متنوع اند و برای سهولت مطالعه آنها را به گونه های مختلف طبقه بندی کرده اند. معروف ترین طبقه بندی را پروفسور بنجامین بلوم انجام داده است.در این طبقه بندی هدف های آموزشی به سه حیطه شناختی، عاطفی و روان حرکتی تقسیم شده اند که هر حیطه نیز دارای طبقه بندی مخصوص به خود است.
اسلاید 13: حیطه های اهداف یادگیری پروفسور بِنجامین بلوم (ادامه...)سطوح یادگیری در حیطه شناختی:1) دانش و معلومات ، 2) فهمیدن ، 3) به کار بستن ، 4) تجزیه و تحلیل ، 5) ترکیب ، 6) ارزشیابی ( در مدل جدید بلوم ابتدا ارزشیابی، بعد تولید و خلاقیت)سطوح یادگیری در حیطه عاطفی:دریافت یا توجه کردن، 2) واکنش نشان دادن، 3) ارزشگذاری کردن ، 4) سازماندهی ارزش ها، 5) تبلور ارزش ها در شخصیت (درونی شدن ارزش ها)سطوح یادگیری در حیطه روان حرکتی:1) تقلید و مشاهده، 2) اجرای مستقل، 3) سرعت و دقت، 4) هماهنگی حرکات، 5) عادی شدن
اسلاید 14:
اسلاید 15: تاکسونومی بلوم و سوالات چند گزینه ایطراحی سوالات چند گزینه ای برای پوشش سطوح ابتدایی طبقه بندی بلوم ( سطح دانش و سطح درک و فهم ) کارآسانی می باشد. اما اگر سوالات چند گزینه ای به درستی طراحی شوند می توانند سطوح بالای طبقه بندی بلوم را نیز مورد ارزشیابی قرار دهند.
اسلاید 16: تاکسونومی بلوم و سوالات چند گزینه ای (ادامه...)سطح دانش و معلومات (knowledge): فراگیر بایستی اطلاعات محفوظ را به خاطر بیاورد اما لازم نیست آنها را توضیح دهد یا به کار گیرد.مثال : میانگین دوز اشعه موثر در سی تی اسکن قفسه سینه چقدر است؟1 mSv 8 mSv * 16 mSv 24 mSv
اسلاید 17: تاکسونومی بلوم و سوالات چند گزینه ای (ادامه...)سطح درک و فهم و به کاربستن اطلاعات: فراگیر بایستی نشان دهد که می تواند از اطلاعات جدید استفاده کند نه اینکه فقط آنها را توضیح دهد، همچنین باید نشان دهد که می تواند قوانین، روش ها، مفاهیم، و تئوری ها را به کار ببندد.مثال: کدامیک از آزمایش های تصویر برداری زیر با بالاترین دوز اشعه ی موثر همراه است؟Abdomen/pelvic multidector CTCoronary artery multidetector CT Conventional pulmonary angiogram Digital pulmonary angiogram
اسلاید 18: تاکسونومی بلوم و سوالات چند گزینه ای (ادامه...)سطح آنالیز: فراگیر بایستی اجزای مفهوم و ارتباط آنها با یکدیگر را درک کرده و اطلاعات را تجزیه و تحلیل کند.مثال: کدامیک از موارد زیر دوز اشعه حاصل از سی تی قفسه سینه را به حداقل کاهش می دهد؟Decreasing mA from 250 to 125 Decreasing kVp from 140 to 120 Decreasing the pitch from 2 to 1 Decreasing scan time from 1 to 0.5
اسلاید 19: تاکسونومی بلوم و سوالات چند گزینه ای (ادامه...)سطح درک و فهم و ترکیب اطلاعات:مثال: تحریک نورون های حرکتی در بدن به طور طبیعی از کدامیک از اصول زیر تبعیت می کند؟نورون های یزرگتر آسانتر از نورون های کوچکتر تحریک می شوند نورون های حرکتی در عضلات اکستانسور آسانتر از نورون های حرکتی در عضلات فلکسور تحریک می شوند. واحدهای حرکتی بزرگ قبل از واحدهای حرکتی کوچک به کار گرفته می شوند افزایش درجه نیروی عضلانی ابتدائاً با تحریک نورون های حرکتی کوچک همراه است افزایش ناگهانی قدرت عضلانی در وهله اول با تحریک نورون های حرکتی کوچک همراه استبرای پاسخ به این سوال دانشجو باید دقیقا اصول تحریک نورون های حرکتی را درک کند، همچنین باید اطلاعات را از منابع مختلف با یکدیگر ترکیب کند. همانطور که می بینید گزینه هایی که جمله بندی مشابهی دارند، جنبه های مشابهی از محتوا را نیز مورد هدف قرار داده اند و دو به دو در کنار هم قرار گرفته اند ( 1 و 2؛ 4 و 5). طراح سوال دو هدف از انجام این کار دارد، یک اینکه دانشجو می تواند از بین گروه یا زوجی از گزینه ها تصمیم گیری کند ، از طرفی با توجه به چینش منظم گزینه ها جواب صحیح با استفاده از راهنما یا نشانه (cue ) قابل شناسایی نیست.
اسلاید 20: تاکسونومی بلوم و سوالات چند گزینه ای (ادامه...)سطح آنالیز و ارزشیابی:مثال: بانک مرکزی کانادا تصمیم گرفت نرخ وام دهی به بانک ها را از 9% به 7/5 % کاهش دهد، بدین ترتیب:سرمایه گذاری خارجی در کانادا افزایش می یابد ارزش دلار کانادا نسبت به دلار آمریکا افزایش می یابد سپرده های پس انداز افزایش می یابد خانه سازی افزایش می یابد تغییری در نرخ بهره وام مسکن ایجاد نمی شود
اسلاید 21: تاکسونومی بلوم و سوالات چند گزینه ای (ادامه...)سطح آنالیز / ترکیب / به کاربستن:مثال: در صورتی که هر دو شریان کاروتید بین قلب و سینوس های کاروتید، به مدت 20 ثانیه مسدود شوند، کدامیک از موارد زیر بروز می کند؟افزایش فشار خون بر اساس اندازه گیری شریان فمورال کاهش ضربان قلب افزایش فعالیت اعصاب آوران از سینوس های کاروتید کاهش فعالیت سمپاتیک در مرکز وازوموتور هیچیک از موارد فوقدر این مثال می توانستیم به جای گزینه ” هیچیک از موارد فوق“ گزینه دیگری طراحی کنیم. با این وجود گزینه صحیح که شماره ”1“ می باشد به راحتی قابل شناسایی نیست و دانشجو بایستی برای یافتن پاسخ به تجزیه و تحلیل و ترکیب اطلاعات بپردازد. در این مثال گزینه ”هیچیک از موارد فوق ” جذاب ترین گزینه انحرافی می باشد.
اسلاید 22:
اسلاید 23: تعریف سوالات چند گزینه ای و نحوه طراحی آنسوال چند گزینه ای شامل یک مسئله و فهرستی از راه حل های جایگزین می باشد. مسئله ممکن است به صورت یک سوال مستقیم و یا یک جمله ناتمام بیان شود که به آن تنه سوال (stem) گویند. از دانشجو درخواست می شود تنه سوال و راه حل های جایگزین را بخواند و یکی از راه حل ها را که صحیح یا بهترین می باشد انتخاب نماید. به راه حل جایگزین جواب (answer) گویند. بر حسب فرمت سوال چند گزینه ای ممکن است بیش از یک پاسخ صحیح وجود داشته باشد. سایر راه حل های نادرست گزینه های انحرافی (Distracters) نامیده می شوند. مثال : تمام موارد زیر در ساخت اپی نفرین دخالت دارند به جز:الف) تیروزین هیدروکسیلازب) مونوآمین اُکسیدازج) دُپاد) نوراپی نفرینه) دوپامینجواب (ب) می باشد در حالی که گزینه های الف ، ج ، د ، ه ، گزینه های انحرافی می باشند.
اسلاید 24:
اسلاید 25: تعریف سوالات چند گزینه ای و نحوه طراحی آن (ادامه...)واژه های متداول در تعریف سوالات چهارگزینه ای:item : کل واحد سوال ( تنه سوال + گزینه ها )پاسخ های ممکن : alternatives، options، choicesگزینه صحیح: Keyed responseگزینه های نادرست: foils، distractors
اسلاید 26: تعریف سوالات چند گزینه ای و نحوه طراحی آن (ادامه...)تنه سوال (stem) بهتر است به صورت یک جمله یا سوال کامل نوشته شود.سوالات مستقیم واضح تر از جملات ناکامل می باشند:مثال : کدامیک از موارد زیر از ویژگی های ندول های پولمونری خوش خیم در تصویر برداری می باشد؟ مثال: ندول های پولمونری خوش خیم...... تحقیقات نشان می دهد استفاده از جمله های ناکامل در stem ، میزان پاسخ صحیح دانشجویان را 10 تا 15% کاهش می دهد.
اسلاید 27: تعریف سوالات چند گزینه ای و نحوه طراحی آن (ادامه...)در تنه سوال می توان از نقشه، نمودار یا عکس رادیولوژی استفاده نمود اما بایستی به صورت یک جمله کامل مطرح شود. در حالت ایده آل ، تنه سوال باید طوری طراحی شود که بدون نیاز به خواندن تمام گزینه ها قابل پاسخگویی باشدتنه سوال باید شامل تمامی اطلاعات مرتبط باشد. اگر بتوان کلمه ای را در تنه سوال گنجاند از تکرار آن در گزینه ها بایستی اجتناب نمود.مثال: کدامیک از موارد زیر دوز اشعه را تا ½ کاهش می دهد؟الف . کاهش mA تا ¼ ب. کاهش mA تا 1/3 ج. کاهش mA تا ½ د. کاهش mA تا ¾ مثال : از میزان mA چه میزان بایستی کاسته شود تا دوز اشعه تا ½ کاهش یابد؟الف. ¼ ب. 1/3 ج. ½ د. ¾ در مثال دوم، اطلاعات مرتبط در تنه سوال گنجانده شده و از بیان عبارت تکراری در گزینه ها اجتناب شده است.
اسلاید 28: تعریف سوالات چند گزینه ای و نحوه طراحی آن (ادامه...)تنه سوال چهار گزینه ای بایستی تا حد ممکن کوتاه و تنها دربرگیرنده اطلاعات ضروری باشد.از تنه سوال نباید به عنوان فرصتی برای تدریس و یا گنجاندن عباراتی که فقط جنبه آموزنده (informative) دارند (اما حضور آنها برای انتخاب پاسخ صحیح ضرورتی ندارد)، استفاده نمود.تنه سوال نباید گمراه کننده باشد به نحوی که با گول زدن دانشجو ، او را از انتخاب پاسخ صحیح دور سازد.خواندن سوال نبایستی دشوار باشد و تا حد امکان به زبان ساده بیان شود، چون سوال به منظور آزمودن توانایی روخوانی دانشجو نمی باشد.به عنوان یک راهنمای کلی ، باید گفت که دانشجویان می توانند به یک تا 2 سوال چهارگزینه ای در دقیقه پاسخ دهند.سوالاتی که بیش از این حد زمان می برند بایستی به دقت ارزیابی شوند، تا به طور غیر ضروری بلند و طولانی یا گیج کننده نباشند.
اسلاید 29: تعریف سوالات چند گزینه ای و نحوه طراحی آن (ادامه...)اگر بخواهیم به کار بستن دانش را توسط دانشجو مورد ارزیابی قرار دهیم تنه سوال بلند تر خواهد بود، در صورتی که از دانشجو بخواهیم تنها یک واقعیت علمی را به خاطر بیاورد، تنه سوال کوتاه تر خواهد بود.اگر بخواهیم توانایی دانشجو در به کار گیری دانش را مورد ارزیابی قرار دهیم، مشاهدات بالینی می توانند پایه سوال ما باشند، به این ترتیب سوال با بیان مشکل یک بیمار شروع شده و با تاریخچه پزشکی (مدت علائم مریض)، یافته های بالینی، نتایج آزمایشات تشخیصی، درمان اولیه، و یافته های بعدی،.... دنبال می شوند. چنین سوالاتی برای آزمون های پزشکی و پیراپزشکی بسیار مناسب می باشند و اعتبار محتوای امتحان را افزایش می دهند، از طرفی نباید بیش از حد بلند، و حاوی اطلاعات غیر ضروری و فرعی باشند.
اسلاید 30: تعریف سوالات چند گزینه ای و نحوه طراحی آن (ادامه...)مثال: سوالی که فقط برای به خاطر آوردن مطالب طراحی شده.کدامیک از موارد زیر باعث نمایش بیماری airspace مزمن (بیش از 3 ماه) در رادیوگرافی قفسه سینه می باشد؟الف. پنومونی استرپتوکوکی ب. سندروم دیسترس تنفسی بزرگسالان ج. ادم پولمونری د. پروتئینوزیس آوئولار پولمونریمثال: سوالی که توانایی دانشجو در به کار گیری معلومات را می سنجد.مردی 30 ساله با تاریخچه 4 ماه دیس پنه، تب با درجه پایین، و خستگی مراجعه می کند. با توجه به رادیوگرافی قفسه سینه این مرد، محتمل ترین تشخیص چیست؟الف. پنومونی استرپتوکوکی ب. سندروم دیسترس تنفسی بزرگسالان ج. ادم پولمونری د. پروتئینوزیس آوئولار پولمونری
اسلاید 31: تعریف سوالات چند گزینه ای و نحوه طراحی آن (ادامه...)تنه سوال باید طوری طراحی شود که تنها یک گزینه با دلیل و مدرک قابل اثبات، و بی چون و چرا صحیح باشد.بهتر است منبع دقیق هر سوال با ذکر جزئیات مستندسازی شود ، تا اگر بعدا کسی به سوال اعتراض داشت، با ارائه مدرک او را متقاعد سازیم.در مواردی که تمامی گزینه ها تاحدی به پاسخ صحیح نزدیک می باشند، بایستی در تنه سوال به جای اینکه بگوییم ”کدام گزینه صحیح است؟“ بنویسیم ”بهترین پاسخ کدام است؟“ ” Best answer ” و عبارت ” کدامیک از موارد زیر“ را در تنه سوال بگنجانیم.
اسلاید 32: تعریف سوالات چند گزینه ای و نحوه طراحی آن (ادامه...)به طور کلی سوالات باید به گونه ای طراحی شوند که از دانشجو بخواهند گزینه صحیح را انتخاب کند نه اینکه بگویند ” کدام گزینه غلط است؟“.سوالاتی که به صورت منفی طراحی می شوند با عباراتی نظیر“ کدامیک از موارد زیر صحیح نیست؟“ یا ” تمام موارد زیر به جز“ همراه هستند.سوالات منفی برای ارزشیابی واقعی دانشجو کمتر موثر هستند و فهم آنها برای دانشجو دشوار است.سوالات منفی ممکن است در بعضی مواقع مناسب باشند اما باید به صورت کاملا حساب شده و انتخابی از آنها استفاده نمود. زمانی که تنه سوال به صورت منفی بیان می شود، زیر واژه منفی باید خط کشید، به صورت کج (italic) تایپ شود ودر زبان انگلیسی با حروف capital نوشته شود که مطمئن باشیم ، دانشجو متوجه محتوای منفی سوال شده است.
اسلاید 33: تعریف سوالات چند گزینه ای و نحوه طراحی آن (ادامه...)تنه سوال با کلمات منفی:” کدامیک از موارد زیر یافته مشخصه ی بیماری راه هوایی کوچک (small airway disease) در سی تی اسکن نمی باشد؟“تنه سوال با کلمات مثبت:” کدامیک از موارد زیر در سی تی اسکن قفسه سینه با بیش ترین احتمال بیماری راه هوایی کوچک (small airway disease) را از بیماری ریوی اینترسیشیال متمایز می سازد؟“
اسلاید 34: تعریف سوالات چند گزینه ای و نحوه طراحی آن (ادامه...)واژه های مطلق نظیر ” همیشه“، ”هرگز“، ”همه“ و ” هیچکدام“ نباید در تنه سوال یا گزینه های انحرافی مورد استفاده قرار گیرند. چون دانشجویان زیرک می دانند که ایده ها یا موقعیت های اندکی به صورت مطلق وجود دارند و یا در سراسر جهان صادق هستند.واژه های ” may“، ”could“، و ”can“، راهنمایی برای یافتن پاسخ صحیح می باشند، و دانشجویان می دانند که تقریبا هر چیزی ممکن است.واژه های مبهم نظیر ”به ندرت“، ”گاه و بیگاه“، ”گهگاهی“، ”تعداد کمی“، ”بسیاری“، به طور یکنواخت در میان دانشجویان قابل فهم و درک نیستند و از کاربرد آنها بایستی اجتناب نمود. برای مثال به جای واژه ”به ندرت ” در سوال بهتر است بگوییم ” در کمتر از 15% جمعیت“. بهتر است از اعداد مطلق استفاده نماییم.ممکن است واژه ”frequently“ برای یک دانشجو به مفهوم 50 % باشد و برای دانشجوی دیگری به مفهوم 80% باشد. بنابراین از به کارگیری واژه ”frequently“ بایستی صرف نظر کرده و به جای آن اعداد و ارقام واقعی را ذکر کنیم.
اسلاید 35: تعریف سوالات چند گزینه ای و نحوه طراحی آن (ادامه...)از به کار بردن واژه های اختصاری و ”acronyms“ ، (بدون توضیحات کافی در مورد واژه در تنه سوال) بایستی اجتناب نمود.ممکن است دانشجو با کلمه اختصاری ناآشنا باشد، و یا واژه مذکور بیش از یک معنی داشته باشد. در این گونه موارد درک و فهم معنی واژه، امتحان جداگانه ای برای دانشجو خواهد بود، و یا اینکه کل سوال را معیوب می سازد، چرا که می توان واژه ی اختصاری را به طرق مختلف تفسیر نمود. مثالهایی از Acronyms :NATO - The North Atlantic Treaty Organization.RADAR - Radio detecting and rangingمثالهایی از Abbreviations:BS - Bachelor of ScienceVP - Vice Presidentمثالهایی از Eponyms: Alzheimer disease – Alois AlzheimerParkinsons disease – James ParkinsonCushings disease – Harvey Cushing
اسلاید 36: تعریف سوالات چند گزینه ای و نحوه طراحی آن (ادامه...)چالش برانگیزترین قسمت طراحی سوالات چند گزینه ای ، طراحی گزینه های انحرافی مطلوب و قابل قبول می باشد. توانایی یک سوال چند گزینه ای برای متمایز کردن دانشجویان ( یعنی جدا کردن افرادی که می دانند از افرادی که نمی دانند) بر پایه کیفیت و جذابیت گزینه های انحرافی می باشد.بهترین گزینه های انحرافی ، عباراتی هستند که در عین دقیق و صحیح بودن، نمی توانند نیازهای مسئله طرح شده را به طور کامل براورده سازند، از طرفی توضیحات نادرستی هستند که باید از دید دانشجو درست به نظر برسند.
اسلاید 37: تعریف سوالات چند گزینه ای و نحوه طراحی آن (ادامه...)هر گزینه ی انحرافی بایستی باورکردنی، اما به طور شفاف نادرست باشد.گزینه های غیر قابل باور، پوچ و بی معنی یا پرت و پلا، نباید مورد استفاده قرار گیرند.گزینه های انحرافی ایده آل ، نمایانگر خطاهایی هستند که دانشجویان به طور رایج دچار آن می شوند. گزینه های انحرافی اغلب با پرسیدن سوالات زیر و یافتن پاسخ آنها طراحی می شوند:”خطای شایع در تفسیر این یافته چیست؟“”تصورات غلط رایج در این حیطه چیست؟“
اسلاید 38: تعریف سوالات چند گزینه ای و نحوه طراحی آن (ادامه...)بهترین تعداد گزینه ها 3 تا 5 عدد می باشد.تحقیقات نشان می دهد سوالات سه گزینه ای به اندازه سوالات چهار گزینه ای موثر هستند.طراحی بیش از 5 گزینه کاری شاق، و اغلب منجر به تولید گزینه های معیوب و نامطلوب می شود. ضمن اینکه دانشجو باید زمان زیادی را برای خواندن گزینه ها صرف کند.از طرفی قانون سریع و سختی وجود ندارد که بگوید تعداد گزینه ها باید در تمام سوالات یکسان باشد. در یک امتحان بعضی از سوالات ممکن است دارای 4 گزینه و بعضی دارای 5 گزینه باشند.
اسلاید 39: تعریف سوالات چند گزینه ای و نحوه طراحی آن (ادامه...)گزینه های انحرافی باید تا حدی به هم مرتبط باشند و در یک طبقه بندی متناسب با پاسخ صحیح قرار گیرند ( برای مثال همه گزینه ها در مورد تشخیص، یا همه در مورد آزمایشات، درمان، پروگنوز، و .... باشند). برای مثال همه گزینه ها می توانند راجع به یک نوع پنومونی یا همه در مورد دوز اشعه باشند.گزینه های انحرافی بایستی از نظر گرامر، طول جمله یا عبارت، و پیچیدگی تا حد امکان شبیه پاسخ صحیح باشند.طراحان سوال به طور رایج تمایل دارند پاسخ صحیح را به طور قابل توجهی طولانی تر از گزینه های انحرافی بنویسند.مثالی از پاسخ صحیح که طولانی تر از سایر گزینه هاست : یک زن سالم 28 ساله به مدت دو روز دچار سرفه، تب و کوتاه شدن تنفس شده است، با توجه به رادیوگرافی قفسه سینه، محتمل ترین تشخیص چیست؟الف. توبرکلوزیسب. پنومونی استرپتوکوکی اکتسابی از جامعهج. پنومونی واریسلاد. بلاستومیکوزیس
اسلاید 40: تعریف سوالات چند گزینه ای و نحوه طراحی آن (ادامه...)مثالی از سوالی که طول گزینه ها یکسان می باشد:یک زن سالم 28 ساله به مدت دو روز دچار سرفه، تب و کوتاه شدن تنفس شده است، با توجه به رادیوگرافی قفسه سینه، محتمل ترین تشخیص چیست؟الف. توبرکلوزیسب. پنومونی استرپتوکوکیج. پنومونی واریسلاد. بلاستومیکوزیسگزینه ها نباید به طور باالقوه حاوی عبارات یا جملات غیر منصفانه یا توهین آمیز در مورد گروه مشخصی از دانشجویان باشد ( مثلا از نظر جنسیت یا نژاد)گزینه های سوال نباید به خاطر نوع کلمه بندی یا جمله بندی به راحتی برای دانشجو متمایز شوند. زمانی که یک یا دو گزینه از نظر گرامری با تنه سوال همخوانی ندارند، خود به خود دانشجو را به سمت پاسخ صحیح هدایت می کنند. اگر تنه سوال به زمان گذشته است، گزینه ها نیز بایستی به زمان گذشته مطرح شوند. اگر زمان سوال ایجاب می کند که پاسخ صحیح به صورت جمع(plural) باشد، تمامی گزینه ها بایستی به صورت جمع طراحی شوند.
اسلاید 41: تعریف سوالات چند گزینه ای و نحوه طراحی آن (ادامه...)تنه سوال و گزینه ها بایستی از نظر فعل و فاعل با هم همخوانی داشته باشند. با توجه به اینکه معمولا نویسنده سوال به پاسخ صحیح بیش از گزینه های انحرافی توجه می کند، اشتباهات گرامری اغلب در گزینه های انحرافی اتفاق می افتد.البته این موضوع زمانی که تنه سوال به صورت یک پرسش مستقیم می باشد مصداق ندارد.در مثال زیر گزینه ج از نظر گرامری با تنه سوال همخوانی ندارد:” یکی از یافته های رادیوگرافیکی در کلاپس لوب تحتانی چپ...........“الف. هایپر لوسنسی در همی توراکس فوقانی و تحتانی چپ می باشد.ب. بالارفتن دیافراگم در سمت چپ می باشد.ج. زمانی که مدیاستینوم به سمت راست جا به جا می شود.د. جا به جایی خلفی شقاقِ (فیشر) مینور می باشد.
اسلاید 42: تعریف سوالات چند گزینه ای و نحوه طراحی آن (ادامه...)در مثال زیر تمام گزینه ها از نظر گرامری با تنه سوال همخوانی دارند. ” یکی از یافته های رادیوگرافیکی در کلاپس لوب تحتانی چپ...........“الف. هایپر لوسنسی در همی توراکس فوقانی و تحتانی چپ می باشد.ب. بالارفتن دیافراگم در سمت چپ می باشد.ج. جا به جایی مدیاستینال به سمت راست می باشد.د. جا به جایی خلفی شقاقِ (فیشر) مینور می باشد.
اسلاید 43: تعریف سوالات چند گزینه ای و نحوه طراحی آن (ادامه...)گزینه ها نباید شامل ”هیچیک از موارد فوق“ یا ” تمام موارد فوق“ باشند.در مواردی که دانشجو بایستی در مورد پاسخ صحیح قضاوت کند یا در مواردی که هیچیک از گزینه ها به طور قطع صحیح یا نادرست نمی باشند ، استفاده از گزینه ”هیچیک از موارد فوق“ دردسرساز است.دانشجویان باهوش در این مواقع بر سر دوراهی قرار می گیرند و با دیدن گزینه ” هیچیک از موارد فوق ”، به دنبال گزینه ای می گردند که کاملترین و با بیشترین جزئیات باشد.استفاده از گزینه ” هیچیک از موارد فوق ” در واقع سوال را از حالت چهار گزینه ای خارج و به سوال صحیح و غلط تبدیل می کند. اگر پاسخ صحیح ”هیچیک از موارد فوق ” باشد و دانشجو همین گزینه را انتخاب کند، ما می فهمیم که او می داند پاسخ های ارائه شده در سوال غلط می باشند، اما نمی توانیم بفهمیم که آیا او واقعا جواب صحیح را می داند یا خیر؟ در واقع اطلاعات خوبی از معلومات و توانایی دانشجو در اختیار ما قرار نمی دهد.از طرفی وقتی پاسخ صحیح ، ”همه موارد فوق“ می باشد ، کافیست دانشجو تشخیص دهد دو مورد از گزینه ها صحیح است و بدین ترتیب باز هم ارزشیابی خوبی از معلومات دانشجو به عمل نمی آید.
اسلاید 44: تعریف سوالات چند گزینه ای و نحوه طراحی آن (ادامه...)گزینه ها بایستی روال و ترتیبی منطقی داشته باشند. برای مثال اگر جواب سوال یک عدد است ، گزینه ها را می توان از عدد کوچک به بزرگ تنظیم نمود ( البته طراحان سوال عقیده دارند بهتر است اعداد را از بزرگ به کوچک تنظیم کنیم)اگر پاسخ یک تاریخ (date) است ، بهتر است گزینه ها به ترتیب زمانی طراحی شوند.در اینگونه موارد هر گزینه باید مستقل بوده و با گزینه دیگر همپوشانی نداشته باشد.
اسلاید 45: تعریف سوالات چند گزینه ای و نحوه طراحی آن (ادامه...)در مثال زیر گزینه ها با هم همپوشانی دارندمیانگین دوز اشعه موثر در سی تی اسکن قفسه سینه چند است؟الف. mSv 8-1 ب. mSv 16 – 8 ج. mSv 24 – 16د. mSv 32- 24 در مثال زیر گزینه ها با هم همپوشانی ندارندمیانگین دوز اشعه موثر در سی تی اسکن قفسه سینه چند است؟الف. mSv 7-1 ب. mSv 15 – 8 ج. mSv 23 – 16د. mSv 32- 24
اسلاید 46: تعریف سوالات چند گزینه ای و نحوه طراحی آن (ادامه...)سوالات چند گزینه ای باید مستقل از هم باشند. یعنی یک سوال نباید حاوی اطلاعاتی باشد که دانشجو به طور اتوماتیک با استفاده از آن، پاسخ سوال دیگری را به راحتی بیابد.محل قرارگیری پاسخ صحیح باید به طور مداوم از گزینه 1 تا 4 تغییر کند. تحقیقات نشان می دهد گزینه های 2 و 3 توسط طراحان سوال بیش از اندازه به عنوان پاسخ صحیح مورد استفاده قرار می گیرند. به این ترتیب دانشجویانی که آزمون های متعددی داده اند با این گرایش طراحان سوال آشنا هستند و در مواردی که پاسخ صحیح را نمی دانند یا مجبورند حدس بزنند، گزینه 2 یا 3 را انتخاب می کنند.
اسلاید 47: تعریف سوالات چند گزینه ای و نحوه طراحی آن (ادامه...)تحقیقات نشان می دهد مردودی دانشجویان از طریق سوالات چهار گزینه ای معیوب، ¼ بیش از مردودی از طریق سوالات چهارگزینه ای استاندارد می باشد. نویسندگان بایستی سوالات چند گزینه ای را از نظر درست بودن و فرمت مناسب مرور کنند. البته این کار تمام اشتباهات را نمایان نمی کند.بهتر است یکی از همکاران به سوالات پاسخ داده و فیدبک بدهد. در بسیاری از دانشگاه ها کیفیت سوالات چهارگزینه ای توسط تیمی از کارشناسان تجزیه و تحلیل می شود.
اسلاید 48:
اسلاید 49: روایی و پایایی سوالات چند گزینه ایبا استفاده از پایایی (reliability) می توان قابلیت تعمیم پذیری یک سوال را اندازه گیری نمود. سوالات یک امتحان نمونه ی کوچکی از حداکثر سوالات چهار گزینه ای می باشد که می توان آنها را از دانشجو پرسید. و نمره امتحان بایستی نشاندهنده نمره همان دانشجو زمانی که به امتحان مشابه دیگری ( که سوالات آن با سوالات امتحان قبلی مرتبط می باشد) پاسخ می دهد، باشد.پايايي به دقت ،اعتمادپذيري ثبات ،يا تکرار پذيری نتايج آزمون اشاره مي کند.رابطه بين روايي و پايايي ازاين قرار است که يک آزمون بايد پايا باشد تا بتواند روا باشد.اگر آزموني در هر بار اجرا برروي تعدادي آزمون شونده نتايج مختلفي به دست دهد ، آن آزمون يک آزمون پايا نخواهد بود و در واقع هيچ چيز را به درستي اندازه نخواهد گرفت و اگر يک آزمون چيزي را به درستي اندازه گيري نکند، هيچ اطلاع مفيدي به ما نخواهد داد.
اسلاید 50: روایی و پایایی سوالات چند گزینه ای (ادامه...)پايايي شرط روايي است اما روايي براي پايايي ضروري نيست.روش هاي تعيين پايايي1- روش پايايي مصححان2- روش بازآزمايي3- روش فرم هاي موازي يا هم ارز4- روشهاي همساني دروني :الف- روش دو نيمه کردن آزمون ب-روش کودر- ريچاردسونج-روش ضريب آلفاي کرانباخ
اسلاید 51: روایی و پایایی سوالات چند گزینه ای (ادامه...)”ضريب پايايي“ ارقامي از 0تا 1 راشامل مي شودهرچه ضريب پايايي كوچك تر باشد، نشان دهنده پايايي كمتر هر چه اين ضريب بزرگتر باشد حاكي از پايايي زيادتر آزمون است.عوامل مؤثر برپايايي آزمون1- با افزودن برتعدادسؤالات يك آزمون پايايي آن افزايش مي يابد.2- با متجانس تر وهمگون تر كردن سؤالات يك آزمون ،پايايي آن بيشتر مي شود.3- با افزودن تعدادي سؤال با ضريب تميز زياد به يك آزمون پايايي آن بالا مي رود.
اسلاید 52: روایی و پایایی سوالات چند گزینه ای (ادامه...)روایی (Validity) یعنی امتحان مورد نظر تا چه حد توانسته چیزی را که ادعا می کرده که می خواهد اندازه بگیرد، اندازه گیری کرده است.اصطلاحي است كه به هدفي كه آزمون براي تحقق بخشيدن به آن درست شده است ،اشاره مي كند.آزموني داراي روايي است كه براي اندازه گيري آنچه مورد نظر است ، كافي و مناسب باشد.با توجه به اینکه دانشجویان به طور معمول به سوالات چند گزینه ای سریعتر از سوالات تشریحی پاسخ می دهند، آزمون هایی که بر اساس سوالات چند گزینه ای طراحی می شوند شامل مقدار وسیعی از مطالب تدریس شده در طول ترم هستند، به همین دلیل روایی این آزمونها افزایش می یابد.سوالات چند گزینه ای نسبتا برای نمره دهی و امتیاز دهی به خصوص با استفاده از کامپیوتر آسان هستند. اما طراحی آنها بسیار زمان بر و دشوار است.
اسلاید 53: روایی و پایایی سوالات چند گزینه ای (ادامه...)روش هایی تعیین روایی (validity) سوالات چند گزینه ای:روایی محتوایی (content validity)روایی صوری (face validity)روایی سازه (construct validity)
اسلاید 54: روایی و پایایی سوالات چند گزینه ای (ادامه...)تجزیه و تحلیل سوالات چند گزینه ای ، یک ارزشیابی عددی از دشواری و قدرت تمیز (discrimination) سوال فراهم می کند. برای تعیین دشواری سوال، درصد دانشجویانی که به هر سوال پاسخ درست داده اند محاسبه می شود. هدف از طراحی امتحان این است که امتحان مورد نظر حاوی تعداد اندکی از سوالاتی باشد که بیش از 90 % دانشجویان یا کمتر از 30% دانشجویان بتوانند به آن سوال پاسخ صحیح دهند.در شرایط مطلوب سوالات دشوار آنهایی هستند که 50 % تا 75% دانشجویان بتوانند به آن پاسخ صحیح دهند. سوالاتی که دشواری آنها در محدوده کم تا متوسط می باشد آنهایی هستند که 70 تا 85% دانشجویان پاسخ صحیح را انتخاب می کنند.
اسلاید 55: روایی و پایایی سوالات چند گزینه ای (ادامه...)قدرت تمیز یک سوال (item discrimination) در واقع تفاوت درصد پاسخ های درست بین دو گروه از دانشجویان می باشد (به طور کلی دانشجویانی که جزء25% بالایی و دانشجویانی که جزء 25% پایین هستند) شاخص تمیز(discrimination ratio)، برای یک سوال در محدوده 1- تا 1+ می باشد. هر چه شاخص تمیز به 1+ نزدیکتر باشد ، سوال مورد نظر به طور موثرتری دانش آموزانی که مطلب آموزشی مرتبط با سوال را می دانستند(در گروه بالا) از دانش آموزانی که آن مطلب را نمی دانستند (در گروه پایین) ، متمایز می سازد.در حالت ایده آل هر سوال حداقل شاخص تمیز 0/5 + دارد. اگر سوالی دارای قدرت تمایز 60% یا بالاتر باشد سوال بسیار خوب محسوب می شود. اگر قدرت تمیز یک سوال کمتر از 19% باشد ، سوالی است که قدرت تمیز پایینی دارد و باید مجددا ویرایش و بازبینی شود.سوالی که دارای شاخص تمیز منفی باشد ، نشان می دهد که دانشجویان ضعیف تر اغلب بیش از دانشجویان قوی به این سوال پاسخ صحیح می دهند و از به کار بردن چنین سوالی در امتحان باید اجتناب نمود.
اسلاید 56: مراحل طراحی و انتخاب سوالات چند گزینه ایطراحی سوالاتمطالعه پایلوت (pilot study)تعیین روایی (validity )تعیین پایایی (reliability )
اسلاید 57: مزایا و معایب سوالات چند گزینه ایمزایا:آزمون هایی بسیار موثر هستنددر تمام سطوح قابل استفاده هستندحداقل میزان نوشتن را برای دانشجو به همراه داردمیزان حدس پاسخ صحیح کمتر استحجم وسیعی از محتوای آموزشی را پوشش می دهدمعایب:طراحی سوالات چند گزینه ای خوب دشوار استطراحی گزینه های انحرافی باورپذیر یا جواب های جایگزین (alternative responses) دشوار است.
اسلاید 58: چک لیست Millman جهت بررسی سوالات چند گزینه ای
اسلاید 59: چک لیست Millman جهت بررسی سوالات چند گزینه ای
اسلاید 60: چک لیست Millman جهت بررسی سوالات چند گزینه ای ( ادامه...)
اسلاید 61: سوال؟؟؟
اسلاید 62: فهرست منابعAl-Wardy NM. 2010. Assessment Methods in Undergraduate Medical Education. SQU Med J, 10(2),pp:203-209. Cosidine J, Botti M, Thomas S. 2005. Design, Format, validity and reliability of multiple choice questions for use in nursing research and education. Collegian , 12(1); pp:19-24.Collins J, MD, MEd, FCCP .Writing Multiple Choice Questions for Continuing Medical Education Activities and Self-Assessment ModulesDawson D, Atkinson M .2006. Dental Teaching Institute Assessment: Designing Effective Multiple-choice and Short Answer Questions. The Univerity of Western Ontario, Teaching Support Centre. دکتر میرزایی ، ک . تحلیل سوالهای آزمون چند گزینه ای . پاورپوینت. دکتر میرجلیلی . تحلیل سوال های آزمون . پاورپوینت .
اسلاید 63:
اسلاید 64: با سپاس از توجه شما بزرگواران
نقد و بررسی ها
هیچ نظری برای این پاورپوینت نوشته نشده است.