تحلیل سوالات

تحلیل سوالات

اسلاید 1: تحلیل سوالاتدکتر کامران صداقت

اسلاید 2: هدفوارسي تك تك سوالها و تعين ميزان دقت و نارسايي هاي آنهاتعیین نقاط قوت و ضعف يك آزمون و كيفيت همه سوالهاي آن

اسلاید 3: اطلاعات موردنیازپاسخهايي كه آزمون شوندگان به هر سوال می دهندچند نفر گزينه درست را انتخاب كرده اند هر يك از گزينه هاي انحرافي چند نفر را به خود جلب كرده است چند نفر آن را بي جواب گذاشته اندتعيين دو گروه قوي (بالا) و ضعيف (پايين) اطلاعات براي تك تك سوالات هر آزمون

اسلاید 4: مراحلمرتب کردن برگه هاي آزمون به ترتيب نمره اي كه گرفته اند از كوچك به بزرگ انتخاب از بالاترين نمره و قرار دادن تعداد برگه هاي مورد نیاز در گروه بالاانتخاب از پایینترین نمره و قرار دادن تعداد برگه هاي مورد نیاز در گروه پایین

اسلاید 5: اگر تعداد دانش آموزان 20 نفر يا كمتر است : برگه هاي آزمون به دو دسته بالا و پايين تقسيم می شوندتعداد كل دانشجویان بيشتر از 20 و کمتر از 40 نفر: 10 برگه بالا و 10 برگه پايينتعداد كل دانشجویان بيش از 40 نفر: 27% كل برگه ها

اسلاید 6: تحلیل سوالاتضریب دشواریضریب تمیزتحلیل گزینه های انحرافی

اسلاید 7: ضریب دشواری (Difficulty Index)درصدی ازافراد که به سوال پاسخ درست داده اندضریب دشواری مطلوب: 30 تا 10 درصدسوال دشوار: 0سوال آسان: 100ضریب دشواری:تعداد پاسخهای درست گروه بالا + پایین به تعداد کل افراد گروه بالا + پایین ضربدر 100

اسلاید 8: ضريب تميز (Discrimination Index)قدرت سئوال را در تشخیص بین گروه قوی و گروه ضعیف آزمون شوندگان مشخص می کند معلوم می کند که سئوال تا چه اندازه می تواند گروه قوی را از گروه ضعیف تشخیص دهدضریب تمیز = تعداد پاسخهای درست گروه بالا – پاسخهای درست گروه پایین بر تعداد افراد گروه بالا

اسلاید 9: مقادیر مطلوب ضریب تمیز

اسلاید 10:

اسلاید 11: سوالهای خوب یک آزمون آنهائی هستند که دارای ضریب دشواری متوسط و ضریب تمیز بالایی باشند

اسلاید 12: مقدار ضریب دشواری چقد راست ؟سئوال باید تجدید نظر شودآیا مقدار ضریب دشواری بین70-30 است ؟سئوال مناسب و موردتائید استآیا ضریب تمیز 30 یا بالاتراست؟آیا ضریب تمیز 30یا بالاتراست؟سئوال مناسب و مورد تائید استسئوال باید تجدیدنظر شودبلیبلیبلیخیرخیرخیر

اسلاید 13: گزينه های انحرافیهدف: منحرف کردن افرادی که پاسخ صحیح را نمی دانندزمانی مطلوب است که افراد گروه پایین را منحرف کند

اسلاید 14: روایی آزمون (validity)هدفی که آزمون برای تحقق بخشیدن به آن طراحی شده استآزمونی روا تلقی می شود که برای اندازه گیری آنچه مورد نظر است، مناسب باشدانواع:روایی محتوایی (content)روایی صوری (face)روايي معيار يا ملاك

اسلاید 15: روایی محتواییآیا سوالات آزمون از محتوایی درس یا موضوع مورد نظر نمونه مناسبی ارائه می دهند؟آیا آزمون بر اساس اهدافی است که دانشجو باید یاد بگیرد؟روايي محتوايي به اين مطلب اشاره مي كند كه نمونه سؤال هاي موجود در يك آزمون تا چه حد معرف كل جامعه سؤال هاي ممكن است كه مي توان از محتوا يا موضوع مورد نظر تهيه كرد.برای افزایش روایی آزمون:جدول مشخصات آزمون (table of specifications):ردیفها: محتوای آموزشی مورد نظرستونها: حیطه های شناختی (دانش، درک، کاربرد، تحلیل)

اسلاید 16: روایی صوریبه اين مطلب اشاره مي كند كه سؤال هاي يك آزمون تا چه حد در ظاهر شبيه به موضوعي هستند كه براي اندازه گيري آن تهيه شده اندعوامل موثر بر روایی صوری:درونیدستورالعمل آزمونکیفیت سوالاتترتیب قرار گرفتن سوالات (از نظر دشواری و آسانی)بیرونیفضا و زمان برگزاری آزمون

اسلاید 17: روايي ملاكميزان ارتباط بين نمرات حاصل از يك آزمون با نمرات حاصل از يك آزمون يا وسيله اندازه گيري ديگر است.هرزمان كه از نمرات يك آزمون براي پيش بيني عملكرد افراد در آزموني ديگر (آزمون ملاك) استفاده كنيم با روايي ملاك سر وكارداريم.آزمون اول را آزمون پيش بين و آزمون دوم كه عملكرد فرد درآن پيش بيني مي شود ،آزمون ملاك نام دارد.

اسلاید 18: پایایی آزمون (Reliability)دقت، اعتمادپذیری یا تکرارپذیری نتایجتوانایی آزمون در قابلیت تعمیم پذیریآزمون بايد پايا باشد تا بتواند روا باشداگر آزموني در هر بار اجرا برروي تعدادي آزمون شونده نتايج مختلفي به دست دهد، پايا نخواهد بود

اسلاید 19: روشهای تعیین پایاییپایایی ممتحنانبازآزماییفرمهای هم ارزهمسانی درونی

اسلاید 20: پایایی مصححانبراي تعيين پايايي آزمون هاي تشريحي يا به طور کلي آزمون هاي غير عيني که نمرات آنها تحت تاثير قضاوت مصححان قرار مي گيرد، بايد از دو يا چند مصحح که مستقلا پاسخ هاي آزمون شوندگان راتصحيح مي کنند، استفاده کرد همبستگي بين نمرات مصححان مختلف شاخص پايايي مصححان به حساب مي آيد

اسلاید 21: فرمهای موازیطرحی دو آزمون موازی یا هم ارز از یک مطلب و انجام آن در یک گروه از آزمون شوندگان در فاصله کوتاهی از هم

اسلاید 22: همسانی درونیانجام یک آزمون در یک گروه از آزمون شوندگان و سپس دو نیمه کردن آزمون و مقایسه آن (سوالات فرد و زوج)تعیین ضریب همبستگی

اسلاید 23: عوامل موثر بر پایاییافزایش تعداد سوالاتهمگون کردن سوالاتافزایش سوالات با ضریب تمیز بالاافزایش سوالات با ضریب دشواری متوسط

اسلاید 24: تاکسونومی سوالات

اسلاید 25: واژه شناسی

اسلاید 26: Miller - Van der Vleuten learning assessment pyramidTests of Knowledge:Clinical Based Tests:DoesShows HowKnows HowKnowsCompetence Assessment:Performance Assessment:Real patients, Videos, Logs, Undercover SPsObservations, OSCEs, SPsPMP, Practicals, Essays, OralsMCQ, CRQ, EMI, SAQ

اسلاید 27: سطوح يادگيري در حيطه شناختيدانشدرکدانشدانشدانشدانشدانشدرکدرککاربردتجزیه و تحلیلکاربردکاربرددرکدرکتجزیه و تحلیلترکیبکاربردتجزیه و تحلیلارزشیابیترکیبدانشدرککاربردتجزیه و تحلیلترکیبارزشیابییادآوری و بازشناسیتفسیر اطلاعاتحل مسئله

اسلاید 28: Cognitive domain evaluationRecognition recallInterpretation Problem solving

اسلاید 29: Taxonomy 1KnowledgeRemember RecallRecognition

اسلاید 30: تاکسونومی یک ( محفوظات )شایع ترین تومور مغزی کدام است ؟الف - منینجیوماب -استروسیتوماج -همانجیوماد -اولیگودندروگلیوما35-45% از مجموع سوالات را تشکیل میدهندزمان جواب دادن 30-35 ثانیه

اسلاید 31: Taxonomy 2قدر ترکیب داده هادرک مطلبتفسیرمطلبآنالیز مطالبتشخیص

اسلاید 32: تاکسونومی دو (تشخیص و تفسیر)نوجوان 16 ساله ای پس از برگشتن از مسابقه فوتبال شکایت از درد شدید در بیضه سمت چپ و شکم همراه با تهوع واستفراغ به مدت 3 ساعت دارد در معاینه شکم نرم وسمع طبیعی داشت ومحتوی کیسه بیضه سفت ودردناک وکبود بود.بعلت درد معاینه حلقه انگوینال میسرنشد.گرافی ساده شکم وازمایش کامل ادرار طبیعی بود تشخیص شما چیست ؟الف -اورکییتب -فتق انگوینال مختنقج -تورشن تستیکولد -هماتوم ناشی از ضربه 20-30% از سوالات و زمان 45-50 ثانیه

اسلاید 33: Taxonomy 3ارزشیابی قضاوت (بالینی ) حل مساله قدرت و توان پیش بینی قدرت تصمیم گیری در تنظیم برنامه درمانیقدرت در ارایه راه حلهای عملی

اسلاید 34: توکسونومی 3 (تصمیم گیری )چه تصمیمی برای این جوان میگیرید ؟الف -تجویز مسکن و پیگیری تا 24ساعتب – دتورشن فوری بیضهج -اورکیکتومی الکتیود -هرنیورافی فوری30-35% سوالات را تشکیل میدهندزمان 55-60 ثانیه

اسلاید 35: مثالگرافی PA قفسه سینه چیست؟این گرافی را تفسیر کنید.این گرافی از قفسه سینه مربوط به آقای 80 ساله معتاد به تر یاک و سیگار که در حمام لیز خورده و شکایت از درد در سینه و تنگی نفس بمدت 4 ساعت دارد ، چه تصمیمی برای وی میگیرید ؟

اسلاید 36: یاداوری مهمبعضی از سوالات ظاهری شبیه تاکسونومی 3 دارد در حالیکه فقط محفوظات را می سنجند: جوان 22ساله ای شکایت از چند توده بدون درد درناحیه سوپرا کلاویکولار سمت چپ به مدت 4ماه دارد در معاینه 4 توده سفت و به هم چسبیده بدون درد در لمس بطور متوسط در اندازه های 3در 4سانتی متر یافت شد . در صورتیکه جواب بیوپسی از ضایعات لنفوم هوجکین باشد کدامیک از انواع ذیل پیش اگهی بهتری دارد ؟

اسلاید 37: یاد اوری مهمبعضی سوالات ظاهری شبیه تاکسونومی 1 دارند ولی نیاز به تجزیه و تحلیل دارند !!!در معاينات بدو استخدام فردي كه در معدن سنگ آهن فعاليت مي كند چه تستهايي را پيشنهاد مي كنيد؟

اسلاید 38: نکات مهم در خصوص طراحی سوالاتهر سوال باید یک هدف آموزشی را اندازه بگیرد . سوالها را کاملا روشن و واضح بنوسید و از عبارات و کلمات قابل فهم استفاده نمایيد. میزان دشواری یک سوال به محتوا و هدف آموزشی باید مورد سنجش باشد نه به عبارات و کلماتی که در آن بکار می رود.مطالب اصلی سوال را بطور کامل در تنه سوال بنویسید. تنه سوال باید بگونه ای باشد که آزمون شونده پس از خواندن آن و پیش از مراجعه به گزینه ها بداند که سوال مربوط به چه مطلبی است.

اسلاید 39: مثال:سوال ضعیفجدول مشخصاتالف)نشان می دهد که چگونه می توان از آزمون برای بهبود امر آموزش و یادگیری استفاده کرد.ب) نمونه بهتری از محتوی درس و هدفهای آموزش به دست می دهدج) روش مورد استفاده در تصحیح پاسخهای آزمون را مشخص می کندد) عینیت آزمون را افزایش می دهد

اسلاید 40: سوال بهترمهمترین فایده استفاده از جدول مشخصات در تهیه آزمون های پیشرفت تحصیلی آن است که:الف) آموزش و یادگیری را بهبود می بخشدب) نمونه بهتری از محتوی درس و هدفهای آموزش به دست می دهدج) روش مورد استفاده در تصحیح پاسخهای آزمون را مشخص می کندد) عینیت آزمون را افزایش می دهد

اسلاید 41: 4- از تکرار مطالب در گزینه ها خوداری کنید.مثال سوال ضعیف:در آزمونهای عینی، اصطلاح عینی:الف) به روش مشخص کردن نتیجه یادگیری مشخص می شودب)به روش انتخاب محتوای آزمون مربوط می شودج) به روش تصحیح جوابها مربوط می شودد) به روش ارائه مطالب مربوط می شود

اسلاید 42: سوال بهتر درآزمونهای عینی اصطلاح عینی مربوط به چه چیزی است؟الف) مشخص کردن نتیجه یادگیریب)انتخاب محتوای آزمونج) تصحیح جوابها د) ارائه مطالب

اسلاید 43: 5- همه گزینه های یک سوال باید متجانس و به موضوع واحدی مربوط باشد. تجانس گزینه ها یکی از راههای کنترل سطح دشواری سوالهاست.مثال: کدامیک از مطالب زیر درست است؟الف) تهیه جدول مشخصات برا ی آزمونهای انشایی مفید نیستب) سوالهای عینی را تنها در کلاس های دانشگاهی می توان اجرا کردج)هدفهای رفتاری از دیر باز مورد استفاده معلمان بوده استد)سوالات انشایی بهترین نوع سوال برای ارزشیابی هدفهای طبقه ترکیب هستند.

اسلاید 44: سوال بهتردر رابطه با سوالات انشایی و ارزشیابی هدفهای آموزشی باید گفت :الف) سوالات انشایی بهترین نوع سوال برای ارزشیابی هدفهای طبقه ترکیب هستند.ب) سوالات انشایی برای ارزشیابی هدفهای هیچ یک از طبقات حوزه شناختی مفید نیستند ج )بین سوالات انشایی و سوالات عینی از نظر ارزشیابی هدفهای گوناگون آموزشی چندان تفاوتی وجود نداردد) بهتر است از سوالات انشایی بندرت استفاده شود.

اسلاید 45: 6- گزینه انحرافی باید طوری نوشته شود که توجه آزمون شوندگان بی اطلاع از موضوع سوال را به خود جلب کند.7-تنه سوال و گزینه صحیح نباید تشابه ظاهری داشته باشند. آزمون شونده ممکن است جواب صحیح را با توجه به تشابه ظاهری پیدا کندمثال: اسناد مالکیت املاک مردم در کجا ثبت می شوندالف) اداره کل ثبت اسناد و املاکب) اداره کل ثبت احوالج) وزارت امور اقتصادی و دارایید) وزارت فرهنگ و آموزش عالی

اسلاید 46: 8- در سوالات منفی کلمات منفی را برجسته کنید.9- از نوشتن سوالهایی که در آنها متن سوال منفی و گزینه ها منفی هستند احتراز کنید. 10-از کاربرد عبارتهایی مانند تمامی موارد، هیچکدام از موارد و غیره خوداری کنید..11- سوالها را مستقل از هم بنویسید: پاسخ دادن به یک سوال نباید شرط لازم برای پاسخ دادن به سوال دیگر باشد

اسلاید 47: 12-از صحبح بودن املایی تنه سوال و گزینه ها اطمینان حاصل کنید.13- دو گزینه متضاد را که یکی از آنها درست است بکار نبرید مگر اینکه از دو زوج متضاد برای سوال چهار گزینه ای استفاده کرد.مثال:در نظریه شرطی سازی کلاسیک پاولف، خاموشی عبارتست از:الف) بی اثر شدن محرک شرطیب) بی اثر شدن محرک غیر شرطیج)- تغییر شکل دادن محرک طبیعید) تغییر شکل دادن محرک غیرطبیعی

اسلاید 48: 14- طول گزینه درست را در سوال های مختلف تغییر دهید.15- محل گزینه درست را در میان گزینه های انحرافی به طور تصادفی انتخاب کنید.16- كلماتي را كه در تمامي گزينه ها به كار مي روند، به ساقه سوال منتقل كنيد.17- از تركيب گزينه هاي فارسي و انگليسي اجتناب كنيد.18- سعي كنيد طول گزينه هاي مختلف تقريبا يكسان باشد19. از طراحي سوالاتي با اين مضمون خودداري نماييد: ”در خصوص .... كدام يك از جملات زير صحيح است؟“

اسلاید 49: چك ليست ميلمن جهت بررسي رعايت اصول ساختاري در سئوالات چند گزينه اي:سوالبلی خیر1-آيا بخش اعظم اطلاعات در ساقه سوال گنجانده شده است؟ 2 - آيا سوال يك هدف اختصاصي يادگيري را مورد ارزيابي قرار مي­دهد؟ 3 - آيا لغات استفاده شده در ساقه يا گزينه­ها، شفاف و مستقيم بيان شده­اند؟4 - آيا از كاربرد گزينه منفي براي ساقه منفي خودداري شده است؟5 – آيا از كاربرد گزينه­هاي نظير همه موارد هيچكدام و گزينه­هاي تركيبي خودداري شده است؟6 – آيا ازكاربرد گزينه­هاي متضاد يكديگر خودداري شده است؟

اسلاید 50: چك ليست ميلمن جهت بررسي رعايت اصول ساختاري در سئوالات چند گزينه اي:سوالبلیخیر7- - آيا لغات مثبت درساقه سوال استفاده شده است يا در صورت منفي بودن ساقه سوال لغايت منفي مشخص شده اند؟8 – آيا هر سوال مستقل از سوالات ديگر مي باشد؟9 – آيا گزينه ها از نظر طول، ساختار لغوي و سبك نگارش هم سنگ هستند؟10 – آيا تا حد امكان از كاربرد ساختار لغوي و سبك نگارش هم سنگ هستند؟11 – آيا كلمات به كاررفته در ساقه و يا گزينه ها از نظر املايي صحيح هستند؟12 – آيا گزينه ها بطور عمودي ليست شده اند.