ارزش‏يابي آزمون نظري آزمون گواهينامه رانندگي بر اساس نظريه سوال ـ پاسخ و مقايسه آن با نظريه كلاسيك آزمون

An Evaluation of the Theoretical Part of the Driver’s-License Test Based on the Item-Response Test Theory and Its Comparison with the Classical Test Theory

زمينه: اين پژوهش با هدف بررسي ويژگي هاي روان سنجي سوالات آزمون نظري آزمون گواهينامه رانندگي انجام و اجرا شده است. نمونه مورد مطالعه را 350 نفر از پاسخ‏دهندگان آزمون تشكيل دادند كه به روش نمونه گيري خوشه اي چند مرحله اي انتخاب شده بودند و تعداد 30 سوال از سوالات آزمون نظري آزمون گواهينامه رانندگي، كه به روش تصادفي ساده استخراج شده بودند، به عنوان نمونه سوالات مورد بررسي قرار گرفتند. براي بررسي ويژگي‏هاي روان سنجي سوالات آزمون، از دو نظريه كلاسيك آزمون و سوال - پاسخ استفاده گرديده و نتايج به دست آمده از آنها با هم مقايسه و بررسي شده است. روش پژوهش توصيفي بوده و در مرحله اول صحت نمونه گيري بررسي گرديد. جهت تعيين تك بعدي بودن آزمون از روش آلفاي كرانباخ و تحليل عاملي استفاده شد. سپس تجزيه و تحليل سوالات آزمون با نظريه كلاسيك و نظريه سوال - پاسخ انجام گرفت و پارامترهاي سوال (دشواري، تشخيص و حدس) و توانايي به دليل نامعلوم بودن به روش برآورد همزمان مورد اندازه‏گيري قرار گرفت. يافته‏ها: نتايج، بيان كننده تك بعدي بودن آزمون و استقلال موضعي آن است. پس از تعيين مفروضه هاي اصلي نظريه IRT، برازش مدل - داده ها مورد بررسي قرار گرفت كه نتايج نشان داد مدل دو پارامتري برازش بهتري با مجموعه داده ها دارد. در مرحله بعد معناداري پارامترهاي سوال و توانايي توسط آزمون T وابسته مورد بررسي قرار گرفت. نتايج نشان داد كه رابطه معناداري بين دقت برآورد پارامترهاي دشواري، شيب و توانايي در دو نظريه كلاسيك و سوال - پاسخ وجود ندارد. به منظور بررسي پايايي و ثبات نتايج آزمون در اجراي اول، بر روي نمونه اي به حجم 30 نفر، بازآزمايي بعمل آمد. از آنجاييكه آزمون مورد نظر از نوع ملاك مرجع مي باشد، براي بررسي توافق بين تصميم ها از ضريب پايايي كاپا استفاده شد. نتايج نشان داد كه رابطه معناداري بين اجراي اول و اجراي دوم وجود دارد و آزمون مورد نظر از پايايي و ثبات كافي در اجراهاي مختلف برخوردار است. بحث و نتيجه‏گيري: تحليل پارامترهاي سوال و آزمودني ها، نشان دهنده سادگي آزمون و قدرت جداسازي خوب توانايي آزمون شوندگان بوده و بر اين اساس مي توان نتيجه گرفت كه سوالات آزمون براي آزمودني هايي با توانايي پايين از مناسبت و دقت بيشتري برخوردار است. ميزان توانايي برآورد شده در نظريه سوال - پاسخ در مقايسه با نمره آزمودني در نظريه كلاسيك به ميزان واقعي نزديك تر است. با توجه به توانايي هاي برآورد شده مي توان سوالات متناسب با توانايي آزمودني ها را انتخاب نمود و اين مي تواند به ايجاد بانك سوال منجر شود.

Background: This study was administered with the aim of investigating the psychometric properties of the theoretical part of the driver’s license test. The study sample included the responses of a group of 350 subjects, selected through multi-cluster sampling, to the 30 randomly chosen theoretical questions of the driver’s license test. In order to investigate the psychometric properties of the test questions, the results obtained from both the classical test theory and the item-response test theory were compared and evaluated. The study adopted a descriptive methodology and the accuracy of the sample was verified at the beginning. Factor analysis and Cronboch method were used to determine the unidimensionality of the test. Then the test questions were analyzed based on the classical and the item - response test theories and the question parameters (difficulty, discrimination and guessing) and the ability due to uncertainty were extracted using the simultaneous estimation method. Results: The results of the study confirmed the unidimensionality and independence of the test. After determining the main theory assumptions of the IRT, the model - data fitting was evaluated and the results of the two-parameter model showed better fitting with the data. In the next step, the question parameters and the ability factor were evaluated with the T-test. Results showed that there was no significant relationship in determining the accuracy of estimating the difficulty, slope and ability parameters between the classical theory and the item - response theory. In order to check the reliability and the stability of the test results on the first run, a test - retest was administered to a sample of 30 subjects. Since the present test is a kind of reference criterion, Kappa coefficient of reliability was used to settle the disagreements. Results showed that there is a significant relationship between the first run and the second run and moreover the test has sufficient reliability and validity to be administered in different cases. Conclusion: The analysis of the question parameters and subjects confirmed the simplicity of the test and its high capacity to distinguish the ability of the subjects. It can, therefore, be concluded that the test questions are more accurate with subjects with lower ability. In comparison to the classical theory, the estimated ability in the item – response theory is closer to the real rate. According to the estimated abilities, questions can be selected based on subjects’ abilities which can finally lead to the creation of a question bank.