شناسايي رويكرد بهينه همترازسازي در آزمون‌هاي چندبعدي

Identification of Optimal Equating Method in Multidimensional Tests

همترازسازي از مهم‌ترين مسائل در نظام سنجش تربيتي است و عدم برقراري مفروضات آن، اندازه‌گيري را با چالش‌هاي جدي مواجه مي‌كند. در آزمون‌هاي چندبعدي، استفاده از روش‌هاي تك‌بعدي همترازسازي، سوگيري نتايج را به دنبال دارد. هدف از اجراي اين پژوهش، شناسايي رويكرد بهينه همترازسازي در آزمون‌هاي چندبعدي بود. شش روش همترازسازي تك‌بعدي و چندبعدي مقايسه شدند. روش همصدك به لحاظ مقاوم بودن در برابر مفروضه تك‌بعدي بودن به‌عنوان ملاكي براي مقايسه ساير روش‌ها مدنظر قرار گرفت. جامعه آماري شامل همه داوطلبان گروه علوم رياضي و فني كنكور سراسري سال 96 و 97 بود. دادههاي آزمون رياضي تعداد 5000 نفر از هر دو سال براي همترازسازي انتخاب شدند. ابعاد آزمون‌ها با استفاده از نرم‌افزارهاي MPLUS وNOHARM مشخص شد. براي برآورد پارامترهاي تك‌بعدي از بستهltm و براي برآورد پارامترهاي چندبعدي از بسته mirt در نرم‌افزار R استفاده شد. همترازسازي نمره مشاهده شده و نمره واقعي تك‌بعدي IRT با استفاده از نرم‌افزار PIE و همترازسازي همصدك با استفاده از نرم‌افزار R بسته equate انجام گرفت. از بسته‌هاي mirt، mvnorm و MASS در نرم‌افزار R نيز براي همترازسازي چندبعدي داده‌ها استفاده شد. نتايج نشان داد كه در همترازسازي آزمون‌هاي چندبعدي بهينه‌ترين روش، همترازسازي چندبعدي كامل است و پس از آن روش نمره مشاهده شده چندبعديِ تك‌بعدي شده، روش مناسبي است، اما استفاده از روش‌هاي تك‌بعدي نمره مشاهده شده و نمره واقعي در چنين شرايطي، كارايي مناسبي ندارد. بنابراين پيشنهاد مي‌شود در همترازسازي آزمون‌هايي كه ساختار چندبعدي دارند، از روش همترازسازي نمره مشاهده شده چندبعدي كامل استفاده شود. كليدواژه‌ها

Equating is one of the most important issues in educational measurement, violation of the assumptions of which results in serious challenges in it. In multidimensional tests, the use of unidimensional equating methods causes bias in results. Therefore, the purpose of this study was to identify the optimal equating methods in multidimensional tests. Six equating methods consisting of unidimensional and multidimensional methods was compared with each other. The equipercentile method was considered as the criterion for comparing the other methods in terms of being robust against the unidimensionality assumption. The statistical population consisted of all the candidates in Mathematics’ entrance exam in the years 2017 and 2018. Mathematics’ exam data of 5,000 people from both years were selected for equating. Test dimensions were determined using NOHARM and MPLUS software, the ltm package was used to estimate the unidimensional parameters and the mirt package in the R software was used to estimate the multidimensional parameters. IRT unidimensional observed score and true score equating conduct with PIE program and equipercentile equating was performed using R equate package. The mirt, mvnorm, and MASS packages in R software were also used for multidimensional equating. The results showed that the most optimal method for multidimensional tests equating was FULL MIRT observed score equating,and then the unidimensionalized MIRT observed score equating is the appropriate method and that using unidimensional methods of the observed score and true score are not efficient in such conditions. Therefore, it is recommended that FULL MIRT observed score methods are used in equating tests with multidimensional structure.