تاثير مداخله آموزشي بر بهينه كردن طراحي سوالات چندگزينه‌اي در آزمون‌هاي ارتقاي دستياري دانشكده دندانپزشكي

The Effect of Education on Improvement of Multiple Choice Questionsʹʹ Designing in Annual Residency Exams of Dental School

مقدمه: آزمون‌هاي چندگزينه‌اي از عيني‌ترين و رايج‌ترين انواع آزمون در آموزش علوم پزشكي هستند و يافتن راه‌هايي براي بهبود كيفيت آزمون‌ها به خصوص در مقاطع تخصصي اهميت دارد. هدف از انجام اين مطالعه تعيين تاثير كارگاه آموزشي در مورد آزمون‌هاي چندگزينه‌اي، بر بهبود كيفيت طراحي سوالات آزمون ارتقاي دستياري دانشكده دندانپزشكي همدان بود. روش‌ها: در اين مطالعه نيمه تجربي، كليه سوالات آزمون‌هاي ارتقاي دستياري دانشكده دندانپزشكي همدان در سال 87 از نظر ساختار طراحي و سطح تاكسونومي با استفاده از چك‌ليستي روا و پايا مبتني بر اصول ميلمن و چند منبع ديگر مورد بررسي قرار گرفت. بعد از برگزاري كارگاه آموزشي جهت طراحان آزمون در هر دو سال، سوالات آزمون ارتقاي سال 88 نيز مورد بررسي قرار گرفت. داده‌هاي قبل و بعد از مداخله مربوط به كليه سوالاتي كه توسط افراد شركت‌كننده در كارگاه مداخله‌اي طراحي شده بود با استفاده از آزمون مقايسه نسبت‌ها (z) مقايسه گرديد. نتايج: از نظر ساختار كلي، از كل 1239 سوال وارد شده در مطالعه، (561 سوال مربوط به سال 87 و 678 سوال مربوط به سال 88) به ترتيب 1/63 درصد و 3/76 درصد سوالات مربوط به سال‌هاي 87 و 88 بدون اشكال طراحي شده بود كه اين تفاوت از نظر آماري معنادار بود (001/0 > P). درصد سوالات طراحي شده با تاكسونومي بالا نيز در سال 88 نسبت به سال 87 به طور معناداري افزايش يافته بود (039/0=P). نتيجه‌گيري: با توجه به نتايج مطالعه، طراحي و برگزاري كارگاه آموزشي، جهت طراحان سوال موثر بود و برگزاري اين كارگاه‌ها مي‌تواند راه‌گشايي براي بهبود آزمون‌هاي مشابه در ديگر دانشگاه‌ها نيز باشد.

Introduction: Multiple choice exams are one of the most common objective exams used in medical education. So, it is important to find ways to improve the quality of these exams, especially in residency programs. Thus the aim of this study was to investigate the effect of education on quality improvement of Multiple Choice Questions (MSQ) designed in Annual Residency Exams of Dental Faculty. Methods: In this experimental study, the structure and taxonomy in all MCQs designed by dental faculty for annual residency exams in 2008 were analyzed through valid and reliable checklist. Checklist items were based on Millman’s principles and several other resources. The same process was repeated for MCQs after running a workshop for question designers. The pre- and post- workshop data were compared using Z test. Results: From 1239 questions, 63.1% and 76.3% of the questions developed in 2008 and 2009 had no structural flaw, which revealed a significant difference between the two years (P < 0.001). Regarding high taxonomy questions, a significant increase was observed in the year 2009 (P=0.039). Conclusion: Considering the results of this study, designing and running training workshop for question designers improved quality of MCQs and these workshops can lead to improvement of MCQ exams in other universities.