مقايسه نمره حد نصاب و ميزان قبولي شركت كنندگان در آزمون عيني ساختارمند باليني با استفاده از چهار روش مختلف تعيين استاندارد: نمره ثابت، آنگوف، رگرسيون مرزي و كوهن

Standard Setting for Objective Structured Clinical Exam Using Four Methods: Pre-fixed score, Angoff, Borderline Regression and Cohen’s

زمينه و هدف: روش‌هاي مختلفي براي تعيين نمره حد نصاب قبولي آزمون‌ها وجود دارند اما تاكنون به ندرت براي امتحانات داخل كشور مورد استفاده قرار گرفته‌اند. ما در اين مطالعه، حد نصاب قبولي آزمون عيني ساختارمند باليني مقطع پيش كارورزي را به چهار روش‌ نمره ثابت، آنگوف، رگرسيون مرزي و كوهن محاسبه كرديم. روش كار: براي تعيين استاندارد به روش نمره ثابت، نمره 60 (از 100) در نظر گرفته شد. براي روش آنگوف، بعد از طراحي سوالات، پانلي شامل 11 داور تشكيل شد كه هر يك به صورت مستقل، احتمال قبولي يك دانشجوي مرزي را در هر يك از ايستگاه‌ها برآورد كردند. ميانگين احتمالات تمام داوران در تمام ايستگاه‌ها، استاندارد آزمون محسوب شد. به منظور اجراي روش رگرسيون مرزي براي هر ايستگاه، معادله رگرسيوني با نمره چك ليست و نمره ارزيابي كلي دانشجويان نوشته شد و استاندارد ايستگاه به ازاي نمره 2 در ليكرت محاسبه شد. در روش كوهن، 60 درصد ميانگين نمرات 5 درصد اول دانشجويان در كل آزمون، به عنوان استاندارد آزمون در نظر گرفته شد. يافته ها: استاندارد حاصل از روش‌هاي عدد ثابت، آنگوف، رگرسيون مرزي و كوهن، به ترتيب 60، 15/49، 39/42 و 74/42 به دست آمد. ميزان قبولي دانشجويان در كل آزمون به ترتيب 9/21، 6/67، 3/93 و 4/92 درصد بود. نتيجه گيري: در اين مطالعه، چهار روش براي تعيين استاندارد قبولي آزمون عيني ساختارمند باليني مورد مطالعه و بررسي قرار گرفت و نشان ‌داد روش اتخاذ شده براي تعيين حد نصاب قبولي آزمون، تاثير قابل توجهي بر نمره استاندارد تعيين شده و درصد قبولي دانشجويان دارد.

Background & Objectives: Different methods have been introduced to determine the cut-scores of exams. However, they have been rarely used in our country. In this study, we used four methods to set a standard for pre-internship objective structured clinical examination (OSCE) in Tehran University of Medical Sciences. Methods: A pre-fixed score of 60% was considered in the first approach. In the Angoff method, a panel including 11faculty members was invited to estimate the probability of passing each station for a borderline student and mean of all estimations was considered as the station standard. In borderline regression method, a linear regression model for each station was calculated in which the students’ checklist scores and general scores were considered as dependent and independent variables respectively. The station standard was calculated based on grade 2 in Likert scale. In Cohen’s method, we set the standard at 60% of the 95th percentile point. Results: The standards for the total test in the pre-fixed score, Angoff, borderline regression and Cohen’s methods were respectively 60, 49.15, 42.39 and 42.74. According to these standards, the percentages of passing students were respectively 21.9%, 67.6%, 93.3% and 92.4%. Conclusion: Using four methods to set standard of an OSCE showed that this approach for determining exam’s cut-score has significant effect on the calculated standard and the percent of students passing the exam. Key Words: Standard setting, Objective structured clinical examination, Angoff, Borderline regression method, Cohen method