بررسي ويژگي‏هاي روان‏سنجي سوالات تخصصي آزمون‏هاي فراگير رشته روان‏شناسي دانشگاه پيام نور در سال 1385

Psychometric Characteristics of Specialized Items of Distance Education Psychology Examinations Held by Payame Noor University in 2006

هدف پژوهش حاضر بررسي ويژگي‏هاي روان‏سنجي سوالات‏ تخصصي آزمون فراگير رشته روان‏شناسي دانشگاه پيام نور در سال 1385 بوده است. بدين منظور از بين كليه شركت‏كنندگان در آزمون فراگير رشته روان‏شناسي،‌ يك نمونه 2000 نفري از آزمودني‏ها به كمك نرم افزار SPSS به صورت تصادفي انتخاب گرديد. سپس اين نمونه 2000 نفري به صورت تصادفي به دو گروه 1000 تايي تقسيم شد. يكي از اين نمونه‏ها جهت برآورد پارامترها و نمونه ديگر جهت برازش مدل با داده‏ها مورد استفاده قرار گرفت. جهت تجزيه و تحليل آزمون و سوالات آن طبق نظريه كلاسيك اندازه‏گيري علاوه بر محاسبه توزيع فراواني گزينه‏هاي انحرافي و واريانس سوالات، ضريب دشواري، ضريب تميز و ضريب پايايي آزمون محاسبه شد. جهت تجزيه و تحليل آزمون و سوالات آن براساس نظريه سوال- پاسخ (IRT)، ابتدا مفروض‏هاي تك بعدي بودن و استقلال موضعي بررسي گرديد. در اين تحقيق جهت تعيين تك بعدي بودن، كليه آزمون‏هاي تخصصي رشته روان‏شناسي با برنامه TESTFACT مورد تحليل عاملي قرار گرفتند. نتايج تجزيه و تحليل آزمون‏هاي مذكور نشان داد كه كليه آزمون‏ها تك بعدي هستند و در نتيجه مفروضه استقلال موضعي نيز برقرار است. برازش مدل– داده‏ها از طريق نرم افزار BILOG-MG مورد بررسي قرار گرفت و در نهايت پارامترهاي برآورد شده سوال (دشواري، تشخيص و حدس) و پارامتر توانايي آزمودني‏ها استخراج گرديد. تحليل گزينه‏هاي انحرافي نشان مي‏دهد كه گزينه‏هاي انحرافي تمام سوالات، هم احتمال نيستند و عملكرد معيوبي داشته‏اند. همچنين نتايج نشان داد كه در آزمون‏هاي روان‏شناسي و جامعه‏شناسي مدل دو پارامتري و در آزمون فلسفه مدل سه پارامتري برازش بهتري با مجموعه داده‏هاي آزمون دارد. در عين حال عليرغم اين كه ميانگين تمامي آزمون‏ها پايين تر از نمره ملاك است، اما به نظر مي‏رسد كه مشكلات در درس فلسفه بيشتر بوده و اين آزمون در شكست تحصيلي آزمودني‏ها تاثير بيشتري داشته است.

This study aims to investigate the psychometric characteristics of specialized items of distance education psychology examinations held by Payame Noor University in 2006. To do this, 2000-subject sample was randomly selected from among all those sitting for the distance education psychology exam. Then, the sample group was randomly divided into two 1000-subject groups; one of which was used for parameter estimation, and the other for testing model-data fit. In order to analyze the test and its items based on the classical test theory (CTT), in addition to calculating frequency distribution of distracters, items variance, difficulty index, discrimination index and reliability coefficient of the test were computed. In order to analyze the test and its items based on the item-response theory (IRT), assumptions of unidimensionality and local independence were first examined. In this piece of research, in order to determine unidimensionality, all specialized psychology exams were studied in terms of factor analysis by TESTFACT Program. Results of the analyses of the above exams suggested that all of them are unidimensional, and therefore local independence assumptions are verified. Model-data fit was explored by means of BILOG-MG software, and finally, itemsʹ parameters (difficulty, discrimination and guessing) estimated along with subjectsʹ ability parameters were extracted. Distractersʹ analysis showed that all itemsʹ distracters were not homogeneous in terms of probability and have had poor performance. It also indicated that in psychology and sociology exams, two-parameter model, and in philosophy exam, three-parameter model were best fit for test items. At the same time, despite the fact that mean of all exams was lower than the criterion score, it seems that the difficulties in the subject of philosophy have been more and this exam had more impact on the subjectsʹ academic failure.