روايي سازه و روايي پيش ‌بيني‌ كننده ارزيابي‌هاي حين دوره دستياران طب اورژانس دانشگاه علوم پزشكي تهران

The Construct Validity and Predictive Validity of In-Training Evaluations of Emergency Medicine Residents in Tehran University of Medical Sciences

مقدمه: بررسي شاخص‌هاي روان سنجي با هدف ارزيابي كيفيت آزمون‌هاي پيشرفت تحصيلي از اهميت ويژه‌اي برخوردار است. هدف اين مطالعه بررسي نتايج حاصل از ارزيابي‌هاي درون بخشي و كتبي دستياران طب اورژانس از نظر روايي سازه و نيز توانايي آنها در پيش‌بيني ميزان موفقيت آكادميك دستياران است. روش‌ها: در اين مطالعه توصيفي همبستگي تمامي دستياران طب اورژانس دانشگاه علوم پزشكي تهران كه بين سال‌هاي 1388 تا 1393موفق به ورود به دوره دستياري طب اورژانس شده ‌بودند و تا سال 1396 در آزمون پره بورد شركت كرده بودند به روش سرشماري وارد مطالعه شدند(199 نفر). نمره آزمون گواهي‌نامه به عنوان متغير اصلي تعيين گرديد؛ سپس همبستگي نتايج ارزيابي‌هاي درون بخشي و كتبي با آن مقايسه شد. براي تعيين همبستگي بين نمرات از آزمون همبستگي پيرسون استفاده شد. نتايج: در نهايت نتايج ارزيابي­هاي 125 دستيار تحليل شد. ميزان همبستگي بين نمرات درون بخشي يك و دو، كتبي يك و دو با نمرات آزمون گواهي‌نامه به ترتيب (006/0, P= 3/or=) ، (014/0, P= 2/or=) ،(202/0, P= 1/or=) ،(0001/0, P= 3/or=) بود. ميانگين نمرات دستياران سال اول، دوم و سوم در آزمون كتبي از 150 نمره در سال 1393 به ترتيب12/57±29/77، 05/8±33/91، 52/8±13/123، ميانگين اين نمرات در سال 1394، 52/8±44/67، 41/23±17/73، 38/6±25/121 و در سال ،1395 04/28±17/68، 34/14±42/88 و 73/7±51/118 بود. نتيجه‌گيري: نتايج حاصل از مطالعه نشان داد ارزيابي‌هاي حين دوره دستياران طب اورژانس در پيش‌بيني ميزان موفقيت آكادميك دستياران از روايي پيش‌بيني‌كننده مناسبي برخوردار است. همچنين مشاهده قدرت افتراق آزمون‌هاي كتبي در تمايز بين دستياران سطوح مختلف، نشان‌دهنده روايي سازه اين آزمون است.

Introduction: The evaluation of psychometric indicators in order to evaluate the quality of academic achievement exams is of particular importance. The aim of this study was to investigate the results of the written exams and internal evaluations among the emergency medicine residents in terms of the construct validity and also their ability in predicting resident’s academic success. Methods: In this descriptive correlational study all the emergency medicine residents of Tehran University of Medical Sciences who could enter the emergency medicine residency program within 2009 to 2014 and had participated in the pre-board exam till 2017, were selected through the census method (n=199). The certification exam score was considered as the main variable; then, correlation of written and internal evaluations results were compared with it. The Pearson correlation test was used to determine the correlation between the scores. Results: Finally, the evaluation results of 125 residents were analyzed. The correlation between first and second internal evaluation scores, first and second written scores with the certification exam scores were (p=0.006, r=0.3), (p=0.014, r=0.2), (p=0.202, r=0.1) and (p=0.000, r=0.3), respectively. The mean scores of the first, second and third year residents in written exams were 77.92±12.57, 91.33±8.05, 123.13±8.52 out of 150 in 2014; the mean of these scores were 67.44±8.52, 73.17±23.41, 121.52±6.38 in 2015 and 68.71±28.04, 88.24±14.34 and 118.15±7.73 in 2016, respectively Conclusion: The results of this study showed that in-training evaluations of the emergency medicine residents had acceptable predictive validity in predicting academic success of residents. Also, the ability of the written exams in discriminating between residents of different grades demonstrated the construct validity of these exams.