روایی(validity)
اسلاید 1: روايي (validity)
اسلاید 2: تعريفاصطلاحي است كه به هدفي كه پرسشنامه براي تحقق بخشيدن به آن درست شده است ،اشاره مي كند.
اسلاید 3: A measure is valid when the differences in observed scores reflect true differences on the characteristic that we are attempting to measure and nothing else.
اسلاید 4: آزموني داراي روايي است كه براي اندازه گيري آنچه مورد نظر است ،كافي و مناسب باشد.
اسلاید 5: انواع رواييروايي محتوايي(content-related validity)روايي صوريروايي ملاكي(روايي معيار)Criterion-related validityروايي پيش بيني:predictiveروايي همزمان:Concurrentروايي سازه::ConstructConvergent Discriminate
اسلاید 6: ازآنجا كه هيچ آزمون و پرسشنامه ای نمي تواند تمام محتوا و كليه هدف هاي يك درس و یا مفهوم راشامل شود ،هر آزمون یا پرسشنامه از مجموعه اي سؤال كه به عنوان نمونه اي از تمام محتوا و هدف هاي آموزشي درس انتخاب شده است ،تشكيل مي يابد.
اسلاید 7: كاربردي ترين و مهمترين روايي كه ما با آن سروكار داريم ، همين روايي محتوايي است.
اسلاید 8: روايي محتوايي به اين مطلب اشاره مي كند كه نمونه سؤال هاي موجود در يك آزمون تا چه حد معرف كل جامعه سؤال هاي ممكن است كه مي توان از محتوا يا موضوع مورد نظر تهيه كرد.هرچه آزمون از اين لحاظ بهتر باشد، داراي روايي بيشتري است.
اسلاید 9: Nunnaly:[psychometric theories 1994, P.103]In spite of efforts to settle every psychological measurement issue by flight into statistics, content validity is mainly settled in other ways. Although helpful hints are obtained from analysis of statistical findings, content validity primarily rests upon an appeal to the property of content and the way it is presented.
اسلاید 10: It was argued that the sampling adequacy of test content, the relevance of test content, and the clarity of domain definitions should be associated with the terms content representativeness,& content relevance, respectively, rather than with the term content validity, because these notions do not refer to any kind of test validity. Also, it was indicated that the sampling adequacy of test responses and the relevance of these responses are matters already encompassed by the concept of construct validity. Since no appropriate means of defining this type of validity is therefore found, it is concluded that content validity is not a useful term for test specialists to retain in their vocabulary.
اسلاید 11: چگونه روايي محتوايي يك آزمون یا پرسشنامه را تعيين مي نماييم؟ هيچگونه روش آماري براي تعيين ضريب روايي محتوايي وجود ندارد. براي تعيين روايي محتوايي يك آزمون از قضاوت متخصصان در اين باره كه سؤال هاي آزمون تا چه ميزان معرف محتوا و هدف هاي برنامه يا حوزه محتوايي(content domain) هستند ،استفاده مي شود.
اسلاید 12: For example, a depression scale may lack content validity if it only assesses the affective dimension of depression but fails to take into account the behavioral dimension
اسلاید 13: قضاوت هاي مربوط به روايي محتوايي نه قطعي هستند و نه نهايي،زيراآزمون ها از سطوح مختلف روايي برخوردارندو متخصصان در قضاوت هاي خود هميشه با هم توافق نظر ندارند.
اسلاید 14: Validity is usually a matter of degree rather than an all-or-none property [Nunnaly P. 84]
اسلاید 15: روايي صوري(ظاهري) Face validity روايي صوري از مشتقات روايي محتوايي است .روايي صوري به اين مطلب اشاره مي كند كه سؤال هاي يك آزمون تا چه حد در ظاهر شبيه به موضوعي هستند كه براي اندازه گيري آن تهيه شده اند.
اسلاید 16: According to Nunnaly the face validy “ may best be understood as reflecting the extent to which someone who is not trained to look for formal evidence of validity feels the instrument measures what it is intended to measure“.
اسلاید 17: Face validity is the extent to which a test appears to measure what it is supposed to measure
اسلاید 18: در واقع روايي صوري نمي تواند نوعي روايي باشد ،بلكه تنها يك ويژگي آزمون است كه در پاره اي مواقع وجود آن مفيد به نظر مي رسد. برخي نيز اساسا اهميت آن رارد مي كنند. با اين وجود گاهي صورت آزمون (روايي صوري )از لحاظ قابليت پذيرش و معقول بودن آزمون براي آزمون شوندگان ، داراي اهميت است.
اسلاید 19: مثالداوطلبان خلباني، يك آزمون رياضي را كه در آن مسايل مربوط به جريان باد و مصرف بنزين طرح شده است ، به آزمون رياضي ديگري كه مسايل را در قالب هزينه غلات يا فهرست مواد خام براي تهيه نوعي شيريني بيان مي كند، تر جيح مي دهند.بنابراين مي توان گفت تا آن اندازه كه ظاهر آزمون برانگيزه ي آزمون شونده اثر مي گذارد،روايي صوري مي تواند مهم باشد.
اسلاید 20: هر چند كه روايي صوري يك ويژگي مطلوب آزمون است ،بااين حال در بعضي آزمون ها اين ويژگي نه تنها ضروري نيست بلكه بهتراست كه وجود نداشته باشد، به عنوان مثال اگر كسي بخواهد بيماري رواني را درافراد تشخيص دهد ، بهتر است آزموني را به كار بندد كه روايي صوري اندكي دارد.
اسلاید 21: روش تعيين روايي صورياز آنجا كه روايي صوري نوع خاصي از روايي محتوايي است ،همان روشي كه براي تعيين روايي محتوايي به كار مي رود ، يعني استفاده از نظر متخصصان، قابل استفاده است.
اسلاید 22: منظور از روايي ملاك ،ميزان ارتباط بين نمرات حاصل از يك آزمون با نمرات حاصل از يك آزمون ياوسيله اندازه گيري ديگر است. بنابراين هرزمان كه از نمرات يك آزمون براي پيش بيني عملكرد افراد در آزموني ديگر(آزمون ملاك) استفاده كنيم با روايي ملاك سر وكارداريم. آزمون اول را آزمون پيش بين و آزمون دوم كه عملكرد فرد درآن پيش بيني مي شود ،آزمون ملاك نام دارد.
اسلاید 23: اگر آزمون دوم پس از يك فاصله زماني با آزمون اول باشد، به آن روايي پيش بيني گفته مي شود. اگرهدف اين باشد كه آيا يك آزمون يا وسيله اندازه گيري مي تواند جانشين مناسبي براي آزمون يا وسيله اندازه گيري ديگري(بدون فاصله و بطور همزمان) باشد، به آن روايي همزمان گفته مي شود.
اسلاید 24: مثالResearchers have found that the amount of words a child reads correctly in one minute is a good indicator of general reading ability.
اسلاید 25: حساسيت: توانايي يك آزمون در تشخيص درست كساني كه بيمارند.دو شاخص تعیین روایی ملاک:حساسيت و ويژگيويژگي: توانايي يك آزمون در تشخيص درست كساني كه بيمار نيستند.مثبت هاي حقيقيمنفي هاي حقيقي
اسلاید 26: حساسيت و ويژگيغربال گريمثبت هاي حقيقيمنفي هاي حقيقيمثبت كاذبمنفي كاذبمثبتمنفي
اسلاید 27: حساسيت و ويژگيمثبتحقيقيمثبتكاذبمنفيكاذبمنفيحقيقيDiseaseYesNoPos.Neg.Test
اسلاید 28: حساسيت و ويژگيabcdDiseaseYesNoPos.Neg.Testحساسيت =مثبت حقيقيبيماران=aa + ca + cb + d
اسلاید 29: حساسيت و ويژگيabcdDiseaseYesNoPos.Neg.Testويژگي =منفي حقيقيسالم ها=db + da + cb + d
اسلاید 30: حساسيت و ويژگيabcdDiseaseYesNoPos.Neg.Testa + cb + d
اسلاید 31: احتمال بیمار بودن فرد زمانی که نتیجه آزمون مثبت است.ارزش اخباریاحتمال بیمار نبودن فرد زمانی که نتیجه آزمون منفی است.ارزش اخباری مثبتارزش اخباری منفیقضاوت در مورد سلامت فرد(بیمار بودن یا نبودن) بر حسب نتیجه آزمون.
اسلاید 32: 2 X 2 tablesGold standard + -New+ True + False +test- False - True -
اسلاید 33: Calculating SN and SPGold standard + -New+ TP FPtest- FN TN Sensitivity Specificity TP/TP+FN TN/FP+TN
اسلاید 34: Pos and Neg Predictive ValueGold standard + -New + PV =+ TP FP TP/TP+FPtest- FN TN - PV = TN/TN+FN Sensitivity Specificity
اسلاید 35: ارزش اخباری مثبتاحتمال بیمار بودن فرد زمانی که نتیجه آزمون مثبت است.HIV +
اسلاید 36: ارزش اخباری منفیاحتمال سالم بودن فرد زمانی که نتیجه آزمون منفی است.HIV -
اسلاید 37: ارزش اخباريabcdDiseaseYesNoPos.Neg.Testارزش اخباري مثبت =مثبت حقيقيمثبت ها=aa + ba + bc + d
اسلاید 38: ارزش اخباريabcdDiseaseYesNoPos.Neg.Testارزش اخباري منفي =منفي حقيقيمنفي ها=dc + da + bc + d
اسلاید 39: Consider 1000 patients: 500 with a disease, 500 without
اسلاید 40: 4 possible types of diagnostic testing classifications: 2 correct, 2 incorrectConsider 1000 patients: 500 with a disease, 500 without
اسلاید 41: Definition: Sensitivity = TP / (TP + FN) = probability of a “+” test among diseased Example: Sensitivity = 400 / 500 = 80%Correct Classification: True Positive (TP)
اسلاید 42: Definition: Specificity = TN / (FP + TN) = probability of a “-” test among healthy Example: Specificity = 450 / 500 = 90%Correct Classification: True Negative (TN)
اسلاید 43: Definition: “False Positive Fraction” = FP / (FP + TN)= probability of “+” test among healthyExample: FPF = 50 / 500 = 10%Incorrect Classification: False Positive
اسلاید 44:
اسلاید 45: تعريف سازه : سازه عبارت است از يك صفت ،ويژگي يا كيفيت روان شناختي (چيزي كه نمي توان آن را مستقيما مشاهده نمود)که از طريق نظريه هاي روان شناسي قابل استنتاج است.مثال: هوش ، خلاقيت ،عشق،...
اسلاید 46: Construct validity seeks agreement between a theoretical concept and a specific measuring device or procedure.
اسلاید 47: For example, a researcher inventing a new IQ test might spend a great deal of time attempting to define intelligence in order to reach an acceptable level of construct validity.
اسلاید 48: Construct validity can be broken down into two sub-categories:1- Convergent validity2- Discriminate validity
اسلاید 49: چگونه روايي سازه را تعيين مي كنيم؟ نخست بايد آن سازه (به عنوان مثال ”هوش ”)را تعريف نماييم. سپس براي اندازه گيري آن سازه ، آزموني بسازيم. رابطه بين نمرات حاصل از اين آزمون رابامواردي که طبق نظريه هاي علمي (دراين مثال نظريه هاي روانشناختي و پرورشي )در باره ي آن (هوش )بيان کرده اند(مانندسرعت يادگيري،ميزان پيشرفت تحصيلي،..)تعيين مي نماييم.
اسلاید 50: به طور مثال در مورد پرسشنامه سنجش کیفیت زندگی (SF36) انتظار بر آن است که نمره پرسشنامه به طور معنی داری در طبقات سالمندان کمتر از جوانان باشد.
اسلاید 51: راه هاي مختلف تعيين روايي سازه در ازمون هاي هنجار-مرجع1-تعيين همبستگي آزمون باساير آزمون هاي رواروايي همگرا: وقتي آزمون جديد با آزمون موجود، که براي اندازه گيري همان سازه ساخته شده است،داراي همبستگي زيادي باشد، آزمون جديد نيز براي اندازه گيري آن سازه رواست. اين روايي را روايي همگرا مي گوييم.روايي واگرا يا تميزي:آزمون مورد نظر نبايد با آزمون هاي ديگر که سازه هاي متفاوتي را اندازه گيري مي کنند ،همبستگي داشته باشد.اين را روايي واگرا مي گويند.
اسلاید 52: 2- تمايز سني(اگر سن يک عامل مهم ويژگي مورد اندازه گيري باشد(مانند آزمون هوش وکسلر)، آنگاه نمرات آن آزمون بايد با بالا رفتن سن ،پيشرفت نشان دهد).3– تحليل عاملي (factor analysis)4- بررسي همساني دروني :محاسبه همبستگي نمرات آزمون هاي فرعي با نمره کل آزمون(توجه :خرده آزمون ها نبايد بايکديگر همبستگي زيادي داشته باشند،زيرا در چنين حالتي همه ي آنها يک چيز را اندازه گيري مي کنند).
نقد و بررسی ها
هیچ نظری برای این پاورپوینت نوشته نشده است.