مقايسه اثربخشي و كارآيي دو روش سنتي و نرم افزار جامع مديريت آزمون (نجما) در برگزاري آزمون هاي ارتقا و گواهينامه دستياران دانشگاه علوم پزشكي اصفهان

Comparison the Efficiency and the Effectiveness of a New Comprehensive Test Management Software (NAJMA Software) with Traditional Method in Resident in-training and pre-board Examinations in Isfahan University of Medical Sciences

زمينه و هدف: در راستاي الكترونيكي شدن فرايندهاي آموزش و يادگيري و ارزشيابي، هدف از انجام اين مطالعه بررسي اثربخشي و كارايي استفاده از نرم افزار جامع مديريت آزمون (نجما) در برگزاري آزمون­ هاي ارتقا و گواهينامه دستياران تخصصي باليني پزشكي بوده است. روش بررسي: در يك مطالعه ­ي توصيفي مقطعي در سال 1394، در گروه­ هاي باليني دانشكده­ ي پزشكي دانشگاه علوم پزشكي اصفهان، هزينه­ هاي مربوط به برگزاري آزمون­ هاي ارتقا و گواهينامه دستياران در سال­ هاي 1393 به روش سنتي و1394 به روش نجما مقايسه گرديد. شاخص­ هاي كمي و كيفي تعداد 6300 سوال مربوط به 42 دفترچه آزمون 21 رشته­ ي باليني به تفكيك روش برگزاري ارزيابي شد. از كل اعضاي هيات علمي گروه ­هاي باليني دانشكده­ ي پزشكي نيز در مورد مزيت­ هاي هر يك از دو روش سنتي و نجما نظرسنجي شد. يافته­ ها: هزينه­ هاي برگزاري آزمون در روش نجما كمتر از روش سنتي بود. از كل 377 نفر عضو هيات علمي باليني دانشكده­ ي پزشكي، 8/64 درصد از اساتيد موافق با برگزاري آزمون­ ها به روش نجما به جاي روش سنتي بودند. شاخص ­هاي كمي و كيفي آزمون و ميزان ايرادهاي ساختاري سوالات در بين دو روش سنتي و نجما تفاوت آماري معني داري با يكديگر نداشت. نتيجه گيري: با توجه به قابليت­ هاي نرم افزار نجما در مديريت آزمون­ هاي كشوري، مي­توان علاوه بر كاهش هزينه ­ها و وقت صرف شده و رضايت­ مندي بيشتر اساتيد، با حذف مراحل واسطه ­اي از مرحله طراحي تا آناليز سوالات امتحان، افزايش امنيت آزمون را نسبت به روش­ هاي سنتي تامين كرد.

Background and Object: Considering new e-teaching and e-learning systems, and electronic assessment tools, this study was performed assessing the efficiency and the effectiveness of a new generated comprehensive test management software (CTMS), named NAJMA, in medical resident evaluation. Materials and Methods: This cross sectional descriptive study was conducted in Isfahan University of Medical Sciences in 2015. Statistical analysis of the questions was done comparing the two models of examination management performed in 2014 and 2015 to evaluate all medical residents of 21 specialties in Faculty of Medicine. Totally 6300 questions from 42 question books based on the model of exams hold in 2014 and 2015 were analyzed. A survey questionnaire was administered to faculty members to obtain their insight into their perceptions of the two models. Results: The cost of formatting and performing the examinations was considerably lower in CTMS method. From the whole 377 members. 64.8% of faculties preferred the CTMS method in management of resident examinations. Number of residents participated in the examinations was 711 in 2014 and 668 in 2015. There were no differences among traditional and CTMS methods considering statistical analysis and Millman structural criteria. Conclusion: Improving and utilization of CTMS method in all university and state examinations will result in reducing human and material costs. Meanwhile satisfaction of faculty members and security of the examinations will be improved by eliminating intermediate processes from developing to analyzing the examination questions.