مقايسه نتايج ارزيابي آزمون ارتقا دستياران در گروه‌هاي آموزش باليني دانشگاه علوم پزشكي اراك

Assessment of the resident’s promotion exam: One step to validity of competency measurement in Arak University of Medical Sciences

سابقه و اهداف: طراحي ابزاري مناسب براي سنجش توانمندي دستياران بنابر نقش ويژه آنان در نظام آموزشي درماني دانشگاه‌ها بيش از پيش مورد توجه برنامه ريزان آموزش عالي قرار گرفته است. اين پژوهش با هدف ارزيابي و مقايسه آزمون ارتقا دستياران در دانشگاه علوم پزشكي اراك انجام گرفت. روش بررسي: در اين پژوهش توصيفي - تحليلي 750 سوال از آزمون ارتقا دستياران در گروه‌هاي جراحي، داخلي، اطفال، زنان و بيهوشي از ابعاد رعايت اصول ساختاري، سطح پوشش تاكسونومي، شاخص‌هاي تميز و دشواري و نيز ميزان پوشش اهداف يادگيري در دانشگاه علوم پزشكي اراك مقايسه شد. ابزار جمع‌آوري داده‌ها شامل: چك ليست استاندارد ميلمن، چك ليست تعيين سطح تاكسونومي و پوشش اهداف و نيز دستگاه تصحيح اوراق (OMR) بود. روايي و پايايي ابزارها تاييد گرديد و داده‌ها بر اساس آزمون‌هاي x2 و anowa تحليل شد. يافته‌ها: نتايج نشان داد، گروه زنان با ميانگين (2/4±5/4) داراي كم‌ترين اشكال ساختاري، گروه داخلي از بعد پوشش بالاترين سطح تاكسونومي (40% در سطح كاربرد و 47% در سطح فهم) و گروه جراحي بالاترين درصد پوشش اهداف يادگيري (7/90%) و نيز به عنوان مناسب‌ترين سوالات از بعد شاخص دشواري (3/67%)و تميز (5/73%)سوالات در مقايسه با ساير گروه‌ها ارزيابي شد. بين اشكالات ساختاري، پوشش اهداف يادگيري و سوالات استاندارد در بين گروه‌هاي آموزش باليني اختلاف معناداري مشاهده گرديد (001/0=P). نتيجه‌گيري: اين پژوهش بر لزوم تقويت تيم‌هاي ارزيابي آزمون، ارتقا سيستم‌هاي الكترونيكي تحليل آزمون، برگزاري كارگاه‌هاي آموزشي و كنترل سوالات قبل از برگزاري آزمون تاكيد نموده و اعمال سياست‌هاي تشويقي و انجام مشاوره با كارشناسان تعليم و تربيت و روان سنجي آزمون را به عنوان اثربخش‌ترين استراتژي‌ها ذكر مي‌نمايد

Introduction: Designing a tool for measuring of residents’competency with attention to their main role in education and practice of university. This study aims to assess the residents’ promotion tests of clinical departments at Arak University of Medicals Sciences. Methods: This cross- sectional study that was undertook in 2010 at Arak University of Medical Sciences. Seven hundred and fifty multiple choice questions related to resident promotion tests in surgery, internal medicine, pediatrics, gynecology and anesthesiology was compared. Questionnaire of each department contained 150 questions. These questions were evaluated in the following domains: structure, Blum taxonomy, discrimination and difficulty index of questions and compliance to the core curriculums. Data gathering tool were: Millmen standard check list for evaluating questions’ structure and check list for evaluating Blum taxonomy and core curriculum and OMR system for evaluating discrimination and difficulty index. The validity and reliability of tools was confirmed and data were analyzed using by ANOVA and X2 tests. Results: Results showed gynecology department had structural problem (4.5±4.2) compared with other departments. Internal medicine department had the highest Blum domain (40% application and 47% comprehension), surgery department had the highest learning aims (90.7%) and was assessed as the most suitable questions from difficulty index (67.3%) and discrimination index (73.5%). There was significant difference between structural problem, core curriculum and rate of standard questions in various clinical departments (P=0.001). Conclusion: This study confirmed the necessity of test assessment in universities, to form effective educational workshops, control of questions before exams and incentives for clinical departments to design standard questions. Development of electronic question analysis system is recommended.