بررسي ضريب پايايي دومين آزمون صلاحيت‌هاي باليني دانشجويان پزشكي مشهد با استفاده از تئوري تعميم‌پذيري

reliability of second clinical skills OSCE in Mashhad by use of Generalizability theory

مقدمه آزمون آسكي يكي از مؤثرترين روش‌ها براي ارزشيابي مهارت‌ها مي‌باشد كه بدليل دشواري در اجراي آزمون آسكي سنجش كيفيت آن، امري حياتي است. يك گام‌ مهم در سنجش كيفيت هر آزمون، تعيين ضريب پايايي آن آزمون مي‌باشد، لذا اين پژوهش با هدف تعيين ضريب پايايي دومين آزمون صلاحيت‌هاي باليني مشهد با استفاده از تئوري تعميم‌پذيري انجام گرديده است. روش كار دومين آزمون صلاحيت‌هاي باليني مشتمل بر 15ايستگاه موازي بود. 75 دانشجو و 30 ممتحن در اين آزمون حضور داشتند. چك‌ليست‌هاي آزمون به تفكيك ايستگاه و ممتحن جمع‌آوري و در بسته نرم‌افزاري اكسل ثبت گرديد. مؤلفه‌هاي واريانس، مجموع مربعات و ميانگين مربعات با استفاده از نرم‌افزارSPSS نسخه 16 و آزمون ANOVA محاسبه گرديد. سپس واريانس ايستگاه‌ها، دانشجويان و ممتحنين و همچنين ضرايب تعميم‌پذيري و پايايي آزمون با استفاده از نرم‌افزارEDUG به‌دست آمد.همچنين براي بررسي رابطه بين جنسيت و نمرات از آزمون‌هاي آماري Mann-Whitney Uو chi squareاستفاده گرديد. نتايج ضريب پايايي آزمون 0/98 محاسبه گرديد و مؤلفه تعامل دانشجويان با ممتحنين و ايستگاه‌ها بيشترين سهم را در ايجاد خطاي اندازه‌گيري دارا بود. بين جنسيت دانشجويان و نمرات آن‌ها ارتباط معنا‌داري مشاهده نشد، همچنين بين جنسيت ممتحنين و نمرات دانشجويان نيز ارتباط معناداري به‌دست نيامد. نتيجه­ گيري دومين آزمون صلاحيت‌هاي باليني مشهد، پايايي بسيارخوبي داشت و با توجه به نتايج حاصله مي‌توان گفت، استفاده از تئوري تعميم‌پذيري براي برآورد ضريب پايايي و مشخص نمودن خطاهاي اندازه‌گيري روش مناسبي است اما پژوهش‌هاي بيشتري بايد انجام شود تا بتوان با قطعيت بيشتري ادعا نمود كه استفاده از تئوري تعميم‌پذيري، مزاياي بيشتري نسبت به تئوري كلاسيك دارد.

Introduction: OSCE is a combination of simulation tasks to assess medical students' skills in diagnosis and treatment of diseases. it is vital to measure the quality of an OSCE. One of the important steps in assessing the quality of a test is to determine it's reliability. This study aimed to determine the reliability coefficient of the second clinical skills test in Mashhad by using generalizability theory. Subjects & Methods: The OSCE was conducted in two days and consists of 15 parallel stations. 75 students and 30 examiners participated in this test. Check lists collected and recorded in Excel. Variances and mean squares (MS) calculated by using SPSS. Variance for stations, students and examiners and generalizability and reliability coefficients calculated by using EDUG. Mann-Whitney U and Chi square tests were used for assessing relation between students’ gender and score, raters’ gender and score and relation between students gender and raters gender. Results: There was no significant relationship between gender of students and their scores, gender of examiners and students’ scores, and between gender of students and gender of examiners. Reliability coefficient was calculated 0/98 and interaction between students, examiners and station component had the largest effect on creating measurement error. Conclusion: this exam had a good reliability coefficient and according to results we can say, using Generalizability Theory for estimating the reliability coefficient, measurement error, and to identify impact of any facets on measurement error is a logical way. However, more research needs to be done.