تعيين روش بهينه شناسايي كاركرد افتراقي در سنجش انطباقي كامپيوتري

Assessing the optimal method of detecting Differential Item Functioning in Computerized Adaptive Testing

زمينه: يكي از چالش‌هاي اساسي گذر از آزمون‌هاي مداد – كاغذي به انطباقي كامپيوتري عادلانه بودن است كه ارزيابي آن در چارچوب كاركرد افتراقي ضرورتي اجتناب‌ناپذير مي‌باشد. هدف: هدف مطالعه حاضر بررسي كاركرد افتراقي، ارزيابي عوامل مداخله‌گر در ميزان آشكارسازي و معرفي روش بهينه مطالعه كاركرد افتراقي در سنجش انطباقي كامپيوتري بود. روش: با توجه به مسئله پژوهش از روش تجربي استفاده شد. گردآوري داده‌ها و دستكاري متغيرها با استفاده از روش شبيه‌سازي صورت گرفت. پاسخ‌هاي‌ گروه نمونه 1000 نفري (گروه مرجع و كانوني با حجم يكسان 500 نفري) به بانك 55 سؤالي دوارزشي براساس مدل لجستيك سه‌پارامتري در 20 تكرار شبيه‬ سازي شد. 15 سؤال بانك از نظر نوع و اندازه كاركرد افتراقي دستكاري شدند و اثر آزمون براساس تفاوت ميانگين توانايي گروه‬هاي مقايسه تعيين گرديد. آزمون انطباقي كامپيوتري 30 سؤالي با نرم‌افزار Firestar اجرا شد. تحليل كاركرد افتراقي با روش رگرسيون لجستيك و آزمون نسبت درستنمايي صورت گرفت و روش‌ها براساس توان و خطاي نوع اول مقايسه شدند. يافته‌ها: ميزان خطاي نوع اول روش آزمون نسبت درستنمايي كم‌تر از رگرسيون لجستيك بود. توان هر دو روش متاثر از نوع، مقدار كاركرد افتراقي و اثر آزمون بود. روش آزمون نسبت درستنمايي در شناسايي كاركرد افتراقي يكنواخت در هر دو موقعيت اثر و بدون اثر نسبت به روش رگرسيون لجستيك توان بيشتري داشته است و با افزايش شدت كاركرد افتراقي توان نيز افزايش يافته است. در ارزيابي كاركرد افتراقي غيريكنواخت تفاوتي بين روش‌ها مشاهده نشد و هر دو روش توان كمي داشتند. نتيجه‌گيري: با توجه به توان و ميزان خطاي نوع اول، روش آزمون نسبت درستنمايي رويكرد مطلوب در بررسي كاركرد افتراقي يكنواخت است، در حالي كه ارزيابي كاركرد افتراقي غيريكنواخت مستلزم مطالعات تكميلي مي‌باشد.

Background: Test fairness is one of the main challenges in transition from paper- pencil towards computerized adaptive testing (CAT). Aim: This study was aimed at investigating differential item function (DIF), assessing intervening factors in clarifying DIF and suggesting the optimal method for DIF in computerized adaptive testing. Method: The empirical method was applied based on the nature of the study area. Data gathering procedure and manipulating the variables were done using simulation method. The responses of 1000 examinees (reference and focal group with equal 500 numbers) to item bank of 55 dichotomous items were simulated based on 3-parameter logistic model with 20 iterations. Fifteen items were manipulated in terms of DIF type and magnitude and test impact was evaluated based on mean difference of comparison groups. Computerized adaptive test with 30 items was administered via Firestar software package. Analysis was done by logistic regression (LR) and item response theory-likelihood ratio test (IRT-LRT) and the methods were compared based on their power and type I error rate. Results: Type I error rate of likelihood ratio test was less than logistic regression. The power of the methods was influenced by type, magnitude of DIF and test impact. Comparing with logistic regression, Item response theory-likelihood ratio test had more power in detecting uniform DIF for the impact and no-impact conditions and it showed more power by increasing the magnitude of DIF. The two methods showed no difference in assessing non-uniform DIF and both of them were poor. Conclusion: Given the power and type I error rate, likelihood ratio test is an optimal approach in detecting uniform DIF. However, assessing non-uniform DIF requires further investigation.