كاربرد مدل طبقه پنهان چندبعدي مبتني بر نظريه پاسخ سوال (LCMIRT) درمطالعه ابعاد شناختي و خوشه بندي سؤال هاي آزمون رياضي: مطالعه موردي درس رياضي كنكور سراسري رياضي فيزيك

Application of Latent Class Multidimensional Item Response Theory (LCMIRT) on investigating cognitive dimensions and clustering math test items: A case study of the math test of national Konkur of physics and mathematics

مهارت رياضي شامل حوزه هاي محتوايي و فرايندهاي شناختي مختلف است كه بيانگر پيچيدگي توانايي رياضي و ويژگي هاي پنهان آن است. تاكنون مطالعه اين پيچيدگي ها با روش هاي سنتي تحليل داده ها يا به صورت ذهني انجام شده است. بنابراين، پژوهش حاضر با استفاده از مدل چندبعدي طبقه پنهان پاسخ سوال (LCMIRT) به مطالعه ابعاد شناختي و متغير هاي پنهان درس رياضي آزمون سراسري ورود به دانشگاه پرداخت. در اين راستا، داده هاي درس رياضي آزمون سراسري سال هاي 87، 90 و 94 مورد مطالعه قرار گرفت. يافته ها نشان داد كه آزمون رياضي، به عنوان يكي از دروس سرنوشت ساز در آزمون سراسري ورود به دانشگاه، شامل مجموعه اي از ويژگي هاي شناختي چندبعدي است. نتايج روش تحليل موازي وحدت يافته نشان داد كه آزمون ها با مدل تك بعدي برازش ندارند و اضافه كردن ابعاد بيشتر، برازش مدل را به صورت معني داري بهبود مي بخشد. بعلاوه، حوزه هاي شناختي درك، حل مسئله و استدلال سه سازه اساسي در تبيين توانايي رياضي شناسايي شدند كه در خوشه بندي و تحليل سؤالهاي آزمون، اطلاعات دقيق تري از كيفيت سوال ها به دست مي دهند. اين ويژگي LCMIRT ، در مقايسه با ساير رويكردها، تعداد زير خوشه هاي شناختي را افزايش مي دهد. در نهايت توصيه مي شود كه در ساخت و تحليل آزمون هاي رواني و تربيتي، مدل هاي LCMIRT مد نظر قرار گيرند تا آشكارسازي توانايي هاي شناختي پنهان آزمون ها از اعتبار بيشتري برخوردار باشد.

Math skills include different content and cognitive processes domains which indicate the complexity of math skill and its latent traits. Until now, Study of these complexities has been done through traditional data analysis or subjective methods. Therefore, present research studied cognitive dimensions and latent variables of the math test of national university entrance examination through the application of Latent Class Multidimensional Item Response Theory (LCMIRT). In doing so, the math test data of national examinations in 2008, 2011 and 2015 were studied. Results showed that the math test, as a high stakes test in the national university entrance examination, encompasses a set of multidimensional cognitive traits. Results of the unified parallel analysis method showed that the tests do not fit with the unidimensional model and adding additional dimensions can significantly improve model fit. Moreover, cognitive domains of comprehension, problem solving and reasoning were recognized as three essential constructs which account for math skills and give more detailed information about items quality in clustering and analysis of the test items. This property of LCMIRT, in comparison with other approaches, increases the number of cognitive sub-clusters. At last, it is recommended that LCMIRT models are considered in constructing and analyzing educational and psychological tests, in order to more validly detect latent cognitive skills of the tests.