تحليل كيفيت آزمون عيني ساختارمند باليني در دانشگاه علوم پزشكي تهران

Analyzing the Quality of Objective Structured Clinical Examination in Tehran University of Medical Sciences

مقدمه: با رواج آزمون‌هاي مبتني بر عملكرد، استفاده از شاخص‌هاي مناسب براي اطمينان از كيفيت آنها ضروري است. اين مطالعه به بررسي متريك‌هاي‌ آزمون عيني ساختارمند باليني (Objective Structured Clinical Examination) مي‌پردازد. روش‌ها: در اين مطالعه توصيفي مقطعي درده ايستگاه آزمون OSCE پيش‌كارورزي سال 91 دانشگاه علوم پزشكي، نمره حدنصاب به روش رگرسيون مرزي تعيين شد و ميزان ردي محاسبه گرديد. ريشه ميانگين مربعات خطا (Root Mean Square Error) براي تخمين ميزان خطاي حدنصاب به كار رفت. ثبات دروني آزمون با آلفاي كرونباخ محاسبه و سپس مقدار خطاي استاندارد اندازه‌گيري (Standard Error of Measurement) تعيين شد. براي هر ايستگاه شاخص‌هاي آلفا در صورت حذف، R2، تمايز بين درجات، دشواري و تميز به دست آمد. نتايج: در اين آزمون266 نفر از دانشجويان شركت نمودند.نمره حدنصاب كل 55/52 از 100 به دست آمد. 4 نفر (5/1 درصد) در آزمون رد شدند و RMSE معادل 45/0 بود. نمره SEM 84/4و آلفاي كرونباخ آزمون 70/0 محاسبه شدند كه در صورت حذف هر يك از ايستگاه‌ها بين 64/0 تا 70/0 متغير بود. مقدار R2 از 16/0 تا 85/0 به دست آمد. شاخص تمايز بين درجات از 66/0 تا 93/1 بود. دامنه سختي و تميز به ترتيب 89/0-71/0 و 44/0-12/0 بود. نتيجه‌گيري: ثبات دروني، خطاي آزمون و خطاي حدنصاب در حد قابل قبول بود. تمام ايستگاه‌ها از لحاظ آلفا در صورت حذف آيتم مطلوب بودند. R2 در دو ايستگاه از حد مطلوب پايين‌تر بود. تمايز بين درجات به غير از يك ايستگاه خوب بود. ايستگاه‌ها نه چندان دشوار با قابليت تميز نه چندان بالا بودند كه در آزمون معياري مطلوب محسوب مي‌شود.

Introduction: With the increasing popularity of performance-based assessments, it is necessary to employ proper indicators to ensure their quality. The present study examines the metrics of Objective Structured Clinical Examination (OSCE). Methods: In this descriptive, cross-sectional research in 10 pre-internship OSCE stations of Tehran University of Medical Sciences in 2012, the cut-off score was determined by borderline regression method and the failure rate was calculated. Root Mean Square Error (RMSE) was used to estimate error rate threshold. Internal consistency was calculated using Cronbach’s alpha and then, the Standard Error of Measurement (SEM) was determined. Alpha if item deleted, R2 coefficient, intergrade discrimination, difficulty and discrimination indices were calculated for each station. A total of 266 students participated in this exam. Results: A total of 266 students participated in this exam. The OSCE total cut-off score was 52.55 (out of 100). Four students (1.5%) failed the exam and the RMSE equaled 0.45. SEM was 4.84 and Cronbach’s alpha was calculated at 0.70 where the alpha if item deleted scores varied from 0.64 to 0.70. The R2 coefficient ranged from 0.16 to 0.85 and the intergrade discrimination ranged between 0.66 and 1.93. The ranges of difficulty and discrimination indices were 0.71-0.89 and 0.12-0.44 respectively. Conclusion: The internal consistency, SEM and threshold error rate were all acceptable. The alpha if item deleted was in the acceptable range in all stations. In two stations, the R2 value was lower than the desired range. The intergrade discrimination value was appropriate in all stations except one. The stations were not too difficult or highly discriminative which is considered favorable in criterion-referenced exams.