پایایی آزمون

پایایی آزمون

اسلاید 1: به نام خدا

اسلاید 2: پايايي آزمونReliability))

اسلاید 3: تعريفپايايي به دقت ،اعتمادپذيري ثبات ،يا تکرار پذيری نتايج آزمون اشاره مي کند.کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

اسلاید 4: An example of the importance of reliability is the use of measuring devices in Olympic track and field events. کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

اسلاید 5: For the vast majority of people, ordinary measuring rulers and their degree of accuracy are reliable enough. However, for an Olympic event, such as the discus throw, the slightest variation in a measuring device -- whether it is a tape, clock, or other device -- could mean the difference between the gold and silver medals. Additionally, it could mean the difference between a new world record and outright failure to qualify for an event. Olympic measuring devices, then, must be reliable from one throw or race to another and from one competition to another. They must also be reliable when used in different parts of the world, as temperature, air pressure, humidity, interpretation, or other variables might affect their readings.

اسلاید 6: رابطه بين روايي و پايايي ازاين قرار است که يک آزمون بايد پايا باشد تا بتواند روا باشد. اگر آزموني در هر بار اجرا برروي تعدادي آزمون شونده نتايج مختلفي به دست دهد ، آن آزمون يک آزمون پايا نخواهد بودو در واقع هيچ چيز را به درستي اندازه نخواهد گرفت و اگر يک آزمون چيزي را به درستي اندازه گيري نکند، هيچ اطلاع مفيدي به ما نخواهد داد.کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

اسلاید 7: پايايي شرط روايي است اما روايي براي پايايي ضروري نيست.کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

اسلاید 8: روش هاي تعيين پايايي1- روش پايايي مصححان2- روش بازآزمايي3- روش فرم هاي موازي يا هم ارز4- روشهاي همساني دروني :الف- روش دو نيمه کردن آزمون ب-روش کودر- ريچاردسونج-روش ضريب آلفاي کرانباخ کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

اسلاید 9: ”ضريب پايايي“ ارقامي از 0تا 1 راشامل مي شودو هرچه ضريب پايايي كوچك تر باشد،نشان دهنده پايايي كمترو هر چه اين ضريب بزرگتر باشد حاكي از پايايي زيادتر آزمون است.کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

اسلاید 10: 1 - شاخص پايايي مصححان (examiners reliability)براي تعيين پايايي آزمون هاي تشريحي يا به طور کلي آزمون هاي غير عيني که نمرات آنها تحت تاثير قضاوت مصححان قرار مي گيرد،بايد از دو يا چند مصحح که مستقلا پاسخ هاي آزمون شوندگان راتصحيح مي کنند، استفاده کرد .همبستگي بين نمرات مصححان مختلف شاخص پايايي مصححان به حساب مي آيد.کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

اسلاید 11: 2- روش بازآزمايي (test-retest)ساده ترين روش تعيين پايايي يک آزمون است .در اين روش آزمون را دو نوبت به گروه واحدي از آزمون شوندگان مي دهند و نمرات حاصل را با هم مقايسه مي کنند .ضريب همبستگي بين نمرات حاصل از دوبار اجراي آزمون ضريب پايايي آزمون است. اين روش تنها زماني مورد قبول است که ويژگي مورد اندازه گيري در طول زمان تغيير نکند(مانند هوش).کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

اسلاید 12: 3- فرم هاي موازي يا هم ارزدو آزمون موازي يا معادل براي يک مطلب يا موضوع تهيه مي کنند و آنها رادر فاصله زماني کوتاهي به يک گروه واحداز آزمون شوندگان مي دهند.کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

اسلاید 13: 4 - روش هاي همساني دروني 4- 1- روش دونيمه کردن (split-halves)آزمون مورد نظر را يک بار با گروه واحدي از آزمون شوندگان اجرا مي کنيم و پس از اجرا، آن را به دو نيمه تقسيم مي نماييم .در اين روش بهترين راه دونيمه کردن آزمون اين است که همه سؤال هاي فرد را يک آزمون حساب آوريم و همه سؤال هاي زوج را آزمون ديگري بدانيم .ضريب همبستگي حاصل از نمرات دو نيمه آزمون ضريب پايايي هر يک از دونيمه خواهد بود.کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

اسلاید 14: ميزان رابطه ي دو دسته نمره متعلق به گروه واحدي از آزمون شوندگان را با محاسبه ضريب همبستگي مشخص مي کنند. متداول ترين روش تعيين همبستگي ،روش محاسبه ضريب همبستگي پيرسون است.

اسلاید 15: براي محاسبه ضريب پايايي کل آزمون ، ضريب همبستگي بين نيمه ها رادر فرمول زير که به فرمول اسپير من – براون شهرت دارد ، قرار مي دهيم.نتيجه حاصل، ضريب پايا يي کل آزمون خواهد بود.کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

اسلاید 16: کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383فرمول اسپيرمن - براون

اسلاید 17: 4 - روش هاي همساني دروني 4- 2- روش ضريب آلفاي کرانباخاين روش در شرايطي بکار مي رود که:1- نمرات سؤال ، نه به صورت دوارزشي صفر و يک ،بلکه به صورت چند ارزشي (از 1 تا 5 به صورت کاملا موافق تا کاملا مخالف)تعيين مي شود.در اين گونه موارداستفاده از KR20 مناسب نمي باشد.2- زماني که يک آزمون از تعدادي خرده آزمون يا بخش هاي مختلف تشکيل شده است.کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

اسلاید 18: 4 - روش هاي همساني دروني 4- 3- روش کودر-ريچاردسوندر اين روش آزمون تنها يک بار اجرا مي شود،اما همه ماده هاي آزمون تحليل مي شوند.کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

اسلاید 19: 4 - روش هاي همساني دروني 4- 3- روش کودر-ريچاردسونالف – روش کودر-ريچاردسون20ب -روش کودر-ريچاردسون21 کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

اسلاید 20: از نظر کاربردي،ما عمدتاً با کودر –ريچاردسون 20 سرو کارداريم.کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

اسلاید 21: محاسبه پايايي به روش کودر – ريچاردسون 20Kuder –Richardson 20کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

اسلاید 22:

اسلاید 23: کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383فرمول کودر – ريچاردسون 20

اسلاید 24: راه اول(بهتر) براي محاسبه انحراف استاندارد:

اسلاید 25: راه دوم براي محاسبه انحراف استاندارد:

اسلاید 26: فرق KR20 و KR21چيست؟کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383اگر بتوان فرض کرد که همه ي سؤال هاي يک آزمون از نظر دشواري شبيه به هم هستند،در آن صورت همه ي p ها با هم مساوي و همه يq ها با هم مساوي خواهند بود، پس مي توان به جاي ، را قرارداد:

اسلاید 27: n = تعداد کل سؤال ها = ميانگين ضريب د شواري سؤال ها = 1- qکارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

اسلاید 28: به خاطر بسپاريم که:فرمول کودر-ريچاردسون براي آزمون هايي است که براي پاسخ مي توان دو حالت زير در نظر گرفت:الف – صفر(0) يعني غلط و ب- يک (1)يعني درستکارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

اسلاید 29: کودر –ريچاردسون را نمي توان براي محاسبه ضريب پايايي پرسشنامه هايي که پاسخ هاي آنها از 1 تا 4 يا 5 (rating scale) راشامل مي شود،،مورد استفاده قرار داد.کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

اسلاید 30: عوامل مؤثر برپايايي آزمون 1- با افزودن برتعدادسؤالات يك آزمون پايايي آن افزايش مي يابد.2- با متجانس تر وهمگون تر كردن سؤالات يك آزمون ،پايايي آن بيشتر مي شود.3- با افزودن تعدادي سؤال با ضريب تميز زياد به يك آزمون پايايي آن بالا مي رود.کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

اسلاید 31: 4- با افزودن تعدادي سؤال با ضريب دشواري متوسط به يك آزمون پايايي ،پايايي آن افزايش مي يابد.5- اگر يك آزمون رادرمورد گروهي ازافراد كه ازنظر توانايي مورد سنجش تجانس كمتري با يكديگر دارنداجراكنيم،آزمون پايايي بيشتري نشان خواهدداد.6- معمولا آزمون هاي سرعت ضريب پايايي بيشتري را نسبت به آزمون هاي قدرت نشان مي دهند.کارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

اسلاید 32: عوامل غير فني مؤثر برپايايي يا اعتبارآزمون1 – كيفيت مطلوب تكثير و تركيب آزمون : بايد مطمئن شد كه سؤالات خوانا و روشن نوشته شده و صفحه شلوغ و در هم نيست.2- دستورالعمل واضح و صريح براي آزمون شوندگان3- دستورالعمل واضح و صريح براي تصحيح كنندگان4- موقعيت كنترل شده و مطلوب براي اجراي آزمونکارگاه طراحي آزمون هاي چندگزينه اي – دبير خانه شوراي آموزش پزشکي وتخصصي – ا سفندماه 1383

اسلاید 33: باتشكر