مقايسه روش‏هاي تحليل عاملي تاييدي (CFA) و نسبت درستنمايي مبتني بر مدل پرسش-پاسخ(IRT) در ردگيري كنش افتراقي سوالات آزمون‏هاي سرنوشت ساز

Comparison of Confirmatory Factor Analysis (CFA) and Item Response Theory (IRT)-Based Likelihood Ratio in Detecting Differential Item Functioning at High Stakes Tests

زمينه:اگر چه روش‏هاي متعددي جهت شناسايي سوالات سودار معرفي شده است، اما تحقيقات اندكي به صورت تجربي قدرت و كارايي هر يك اين روش‏ها را مورد بررسي قرار داده است. هدف: هدف از تحقيق حاضر مقايسه آزمون نسبت درستنمايي مبتني بر مدل پرسش-پاسخ (IRT) و روش تحليل عاملي تاييدي(CFA) در شناسايي كنش افتراقي سوالاتِ آزمون‏هاي سرنوشت ساز بود. روش: براي پاسخگويي به سوالات تحقيق از روش مطالعات شبيه‏سازي مونت كارلو استفاده شد. داده‏هاي مورد نياز با استفاده از نرم افزار وين جن2 در قالب 100 آزمون 30 سوالي كه با مدل دو پارامتري برازش داشتند، شبيه‏سازي شد. توزيع دشواري و قدرت تميز سوالات همه آزمون‏ها، نرمال بود. اما آزمون‏ها از حيث نوع DIF، ميزان DIF و همچنين پارامترهاي سوال با هم متفاوت بودند.همچنين براي هر آزمون، پاسخهاي 1000 آزمودني با توزيع توانايي(?) نرمال شبيه‏سازي شد. از روش‏هاي برآورد بيشينه درستنمايي حاشيه اي و روش برآورد حداقل مربعات وزني براي تعيين نوع و ميزان DIF استفاده شد. يافته‌ها:تجزيه و تحليل داده‌ها در تكرارهاي متوالي نشان داد كه روش‏هاي مبتني بر IRT در شناسايي DIF نسبت به روش‏هاي CFA برتري دارند. اين برتري در تمامي شرايط DIF (كم، متوسط و زياد) مشاهده شد. با اين همه، تفاوت دو روش در حجمهاي نمونه 1000 نفري، جزيي و قابل اغماض است. همچنين ميان دو روش از نظر شناسايي نوع DIF تفاوتي ديده نشد. بحث و نتيجه گيري: نتايج پژوهش حاضر با نتايج ميد و لوتنچلاجر(2006 و 2004) همخواني دارد، اما برخلاف نتايج فلاورز و همكاران(2002) است. سرانجام در صورت محدوديت در استفاده از يك روش تشخيص DIF، آزمون نسبت درستنمايي مبتني بر مدل پرسش- پاسخ توصيه شود.

Although numerous methods have been proposed for detecting biased items, but a few researches have empirically investigated the power and efficiency of these methods. The main goal of this research was to apply IRT-based likelihood ratio test and confirmatory factor analysis in detecting differential item functioning (DIF) in high stakes tests. Monte Carlo simulated methods were used to answer the research questions. Required data were simulated through WINGEN2 in the form of 100 tests with 30 items that were fitted to 2PL model. Distributions of item difficulties and discrimination powers of all the tests were normal. Responses of 1000 examinees were also simulated with normal ability distribution for each test. Estimation methods of marginal maximum likelihood and weighted least squares were used to detect type and magnitudes of DIF. Data analysis in consecutive replications showed that IRT based methods were superior to CFA methods in detecting DIF. This superiority was observed in all DIF conditions (low, moderate and high). After all, differences between two methods were small at 1000 sample sizes. No differences were observed between two methods in detecting different types of DIF. Results of this study confirm the results of Meade and Lautenschlager (2004; 2006), but is in contrast with the results of Flowers et al (2002). Finally, Likelihood Ratio test is recommended if there is any limitation in applying methods of detecting DIF.