مفهوم اعتبار و پایایی در طراحی پرسشنامه و نحوه سنجش آن ها

مفهوم اعتبار و پایایی در طراحی پرسشنامه و نحوه سنجش آن ها

اسلاید 1: 1مفهوم اعتبار و پاياي در طراحي پرسشنامه و نحوه سنجش آنهادوازهم بهمن ماه 1384مركز مطالعات و توسعه آموزش دانشگاه علوم پزشكي كرمانارايه دهنده: علي اكبر حقدوست

اسلاید 2: كارگاه طراحي پرسشنامهمفهوم دقت در اندازه گيريبه عنوان يك اصل كلي هيچ اندازه گيري خالي از خطا نيست.در يك كلام دقت در اندازه گيري يعني اينكه مقدار سنجيده شده چه ميزان به واقعيت نزديك است.دقت در انداره گيري توسط دو شاخص اعتبار و پاياي به صورت كمي در مي آيد.

اسلاید 3: كارگاه طراحي پرسشنامهپايايي يا ثبات (reliability)در صورت تكرار يك اندازه گيري تا چه ميزان مقادير سنجيده شده به يكديگر نزديك هستند.اگر دو مرتبه از يك فرد به فاصله چند دقيقه و در شرايط كاملاً يكسان فشارخون گرفته شود تا چه ميزان مقادير به يكديگر نزديك هستند؟اگر به فاصله چند روز از يك فرد در خصوص تعداد ساعات مشاهده تلويزيون سوال شود آيا اعداد بيان شده به يكديگر نزديك هستند؟

اسلاید 4: كارگاه طراحي پرسشنامهاعتبار (validity)مقدار سنجيده شده چه ميزان به واقعيت نزديك است؟اندازه گيري فشارخون با يك كاف كوچك هرچند ممكن است پايا باشد ولي معتبر نيست.سوال در خصوص بعضي موضوعات خاص ممكن است پايا باشد ولي معتبر نباشد.ميزان درآمد شما در ماه چقدر است؟در هفته چند ساعت كتاب مي خوانيد؟چه ميزان سيگار كشيدن را مضر مي دانيد؟ (به خصوص اگر از افراد سيگاري پرسيده شود)چند مرتبه فرزندتان را كتك زده ايد؟

اسلاید 5: كارگاه طراحي پرسشنامهرابطه بين اعتبار و پايايياعتبار شرط كافي براي پايايي است.پس هرچه معتبر است پايا نيز است.پايايي شرط لازم براي اعتبار است.پس يك اندازه پايا ممكن است معتبر نباشد.

اسلاید 6: كارگاه طراحي پرسشنامهعوامل موثر بر اعتبار و پايايي (1)شيوه طراحي سوالات:كدام سوال احتمالاً معتبرتر است؟در سال گذشته چند بار سردرد داشته ايد؟در ماه گذشته چند بار سردرد داشته ايد؟در دو روز گذشته چند بار سردرد داشته ايد؟اگر بخواهيم در خصوص بستري در بيمارستان سوال كنيم فكر مي كنيد بهترين بازه زماني چقدر است؟

اسلاید 7: كارگاه طراحي پرسشنامهنوع سوالات و گزينه هابعضي مواقع گذاردن گزينه باعث سوگيري پاسخها مي شود. لذا در اين مواقع سوالات كوته پاسخ ارجح هستند.گزينه ها گاه با مفهوم سوال همخواني ندارد.چه اندازه رفتار پرستاران با بيماران مناسب است؟بسيار خوب، خوب، نمي دانم، بد، بسيار بدبسيار خوب، خوب، تاحدودي خوب، بد، بسيار بدبسيار خوب، خوب، نيمه مطلوب، بد، بسيار بدصحيح، تا حدودي درست، ميانه، بد، غير مسولانهراضي، تا حدودي راضي، كمي راضي، ناراضي، بسيار ناراضيموافقم، تا حدودي موافقم، بي نظرم، مخالفم، بسيار مخالفمهميشه، اغلب اوقات، گاهي اوقات، بسيار كم، ابداً100%، 75%،50%،25%،0عوامل موثر بر اعتبار و پايايي (2)

اسلاید 8: كارگاه طراحي پرسشنامهترتيب سوالاتسوال در مورد خصوصيات و مسايل حساس در ابتداي پرسشنامه اعتبار سوالات بعدي را ممكن است به شدت كاهش دهد.به هم ريختگي زياد و ارتباط مبهم سوالات ممكن است باعث مخشوش شدن ذهن پاسخ دهنده شود.گذاردن سوالات انگيزشي در ابتداي پرسشنامه و همچنين مقدمه روشن و كامل در ابتداي پرسشنامه و يا قبل از هر سوال، اعتبار سوالات را افزايش مي دهد.عوامل موثر بر اعتبار و پايايي (3)

اسلاید 9: كارگاه طراحي پرسشنامهمثال: كدام سوال معتبرتر است؟نظرتان در خصوص رفتار دانشجويان با بيماران چيست؟دانشجويان بايست بتوانند در طول دوره خود شيوه صحيح ارتباط برقرار نمودن با بيمار را فرابگيرند و به شكلي منطقي با بيمار ارتباط برقرار كنند. ارتباط بسيار نزديك با بيمار و يا ارتباطي يك طرفه و آمرانه مطلوب نيست و باعث مي شود كه بيمار به خوبي به پزشك خود اعتماد نكند. با توجه به اين توضيحات فكر مي كنيد شيوه ارتباط دانشجويان با بيماران چگونه است؟عوامل موثر بر اعتبار و پايايي (4)

اسلاید 10: كارگاه طراحي پرسشنامهفرد پرسشگرشكل ظاهري، موقعيت اجتماعي، اخلاق و رفتار آيا پاسخهاي دريافت شده توسط پرسشگران زن و مرد برابر است؟آيا پاسخ داده شده توسط بيمار به استاد معتبرتر است يا به دانشجو؟آيا پاسخ بيمار به دانشجويي كه مرتب است و خود را معرفي مي كند دقيقتر است يا به دانشجويي كه با لباس چروكيده و با چهره اي نامرتب دارد؟به نظر شما سن پرسشگر و سواد وي در دريافت پاسخها تاثير دارد؟عوامل موثر بر اعتبار و پايايي (5)

اسلاید 11: كارگاه طراحي پرسشنامهپرسشنامه به عنوان يك ابزار اندازه گيري سعي دارد تا بعضي متغيرها را بسنجد.در روز چند ساعت تلويزيون مي بينيد؟ميزان علاقه شما به خدمت به بيمار چقدر است؟

اسلاید 12: كارگاه طراحي پرسشنامهعوامل موثر بر اعتبار و پايايي (6)شرايط پرسشگري در يك محيط متناسب و آرام (اگر بتوان پيدا نمود!!!)سوال در خصوص كيفيت تدريس در زمان امتحانپرسشگري از مردم در هنگام رانندگي و پشت چراغ قرمزهنگام گردش در پارك

اسلاید 13: كارگاه طراحي پرسشنامهعوامل موثر بر اعتبار و پايايي (7)شكل ظاهري پرسشنامهتعداد صفحات و تعداد سوالاترنگ كاغذفونت مورد استفادهآرايش متنبكار بردن كلمات ملموس و مورد استفاده در فرهنگ مربوطهدقت در عدم استفاده از كلمات منفي به صورت مكرر در جمله

اسلاید 14: كارگاه طراحي پرسشنامهنحوه سنجش پاياييTemporal stability Retest with a reasonable gapForm equivalenceParallel tests Internal consistencythe coefficient of test scores obtained from a single test or survey (Cronbach Alpha, KR20, Spilt-half).

اسلاید 15: كارگاه طراحي پرسشنامهوجوه مختلف اعتبار نه انواع آناعتبار ظاهري يا صوري(face validity)آيا پاسخ دهنده مفهوم متن را همان مي يابد كه محقق مد نظر داشته است؟آيا ظاهر متن به اندازه كافي شكيل است كه حواس پاسخ دهنده را جلب كند؟اعتبار محتوا (content validity)محتواي پرسشنامه در راستاي هدف اصلي و سوال پژوهش است؟اعتبار ساختاري (construct validity)اسكلت پرسشنامه با مفهوم انتزاعي موضوع تطابق دارد؟اعتبار پيشگويي كننده (predictive validity)پاسخهاي داده شده تا چه ميزان با نتايج آينده همخواني دارد؟

اسلاید 16: كارگاه طراحي پرسشنامهشيوه سنجش اعتبار پرسشنامه (1)بايد دقت شود كه اعتبار پرسشنامه با اعتبار پاسخها يكي نيست.براي سنجش اعتبار بايد gold standard داشت كه در مورد پرسشگري تقريباً در اكثر موارد وجود ندارد.آيا نظرات كارشناسان را مي توان ملاك قرار داد و به عنوان نوعي gold standard دانست؟در صورت مثبت بودن پاسخ شايد يك راه درخواست از كارشناسان براي نظر دادن به كيفيت تك تك سوالات و يا گروه سوالات است.

اسلاید 17: كارگاه طراحي پرسشنامهشيوه سنجش اعتبار پرسشنامه (2)به اين شكل كه حدود 5 تا 10 نفر كارشناس به كيفيت سوالات امتياز داده و سپس امتيازات آنها با يكديگر جمع زده و ميانگين گيري مي شود.به عنوان يك اصل شخصاً هيچ يك از ضرايب محاسبه شده به اين شيوه را باور نمي كنم مگر خلاف آن ثابت شود. اگرچه متاسفانه خود مجبورم كه در مشاوره ها دانشجويان را مجبور به انجام اشتباهي بكنم كه خود به آن اعتقاد ندارم.به نظر من نظرات تنها يك كارشناس دقيق و كارپشته بسيار با ارزشتر از جمع نظرات تعداد زيادي كارشناس است كه يا دقيق جواب ندهند و يا با موضع آشنا نباشند.

اسلاید 18: كارگاه طراحي پرسشنامهشيوه سنجش اعتبار پاسخهامصاحبه با پاسخ دهندگان و تعيين ميزان دقت پاسخ مكتوب آنهاسنجش متغيرها پرسشنامه با شيوه عيني در صورت امكانمقايسه پاسخها با نتايج gold standard در صورت وجودگذارن check questions و حذف پاسخهاي غير دقيق و همچنين تعيين ميزان خطاهاي موجود در پاسخها به عنوان شاخصي از اعتبار پاسخها

اسلاید 19: كارگاه طراحي پرسشنامهكاربردهاي پرسشگريبررسي نظراتبررسي نگرشهاآگاهي سنجيرفتار سنجي

اسلاید 20: كارگاه طراحي پرسشنامهتفاوت نظرات و نگرشهانظرات سطحي ترين لايه تفكرات، استنباطها، ادراكات و برداشتهاي افراد است.لايه هاي بعدي به ترتيب نگرشها، ارزشها و نهايتاً شخصيت افراد است.سوال با پرسشگري و پرسشنامه تا چه حد مي توان به عمق ذهنيات افراد وارد شد؟

اسلاید 21: كارگاه طراحي پرسشنامهحصارها چه هستند؟حصارها دلايل و منطق ذهني افراد است كه باعث مي شود افراد نظرات و نگرشهاي متفاوتي داشته باشند.حصار شرمحصار prestigeحصار .....

اسلاید 22: كارگاه طراحي پرسشنامهچگونه حصارها را مي توان شكست؟غير شخصي نمودن سوالاتچه ميزان به حقوق بيماران احترام مي گذاريد؟چه ميزان پزشكان به حقوق بيماران احترام مي گذارند؟گذرادن راه فرارگاه به دليل خستگي مفرد انسان نمي تواند خود را كنترل نمايد، اين خستگي مفرد در كار پزشكي بسيار ديده مي شود كه گاه باعث مي شود ايشان بر خلاف ميل خود به حقوق بيماران احترام لازم را نگذارند. شما چه ميزان به اين دليل و يا دلايل ديگر ممكن است حقوق بيماران را رعايت نكنيد؟

اسلاید 23: كارگاه طراحي پرسشنامهروشهاي سنجش نگرشهاروشهاي كلاسيك شاملليكرت: تعيين همبستگي گزينه ها با نمره كلتورستون: حفظ گزينه هايي كه در پيش آزمون باعث كمترين پراكندگي در درك مفاهيم براي پاسخ دهندگن شده بوده است.گاتمن: از طريق ساختن ميزان نگرروشهاي غير كلاسيك