طراحي و پياده سازي بانك سوال مدرج شده در آزمون هاي سراسري

Designing and Implementing of the Calibrated Item Bank for Nationwide Entrance Examination

نوشته حاضر فرايند ايجاد يا توسعه يك بانك سوال مدرج شده بر اساس تيوري سوال پاسخ با استفاده از داده هاي 30 سوال كنكور آزمايشي حساب ديفرانسيل است كه روي يك نمونه 3409 نفري اجرا شده است. تابع آگاهي كل سوالات برابر با 21/43 است كه در فاصله 3 پيوستار توانايي نقطه بيشينه آن روي 95/0 است و در اين نقطه، توانايي افراد با حداقل خطا برآورد شده است. يكي از نكات برجسته در راه اندازي چنين بانكي برآورد توانايي افراد بر اساس آزمون هاي مداد-كاغذي استاندارد و كم خطا با اهداف ويژه است تا بتوان در هزينه، تلاش و زمان صرفه جويي كرد و امنيت آزمون ها را بالا برد. بعلاوه فرايند آزمون گيري را كه به صورت سنتي و مداد كاغذي اجرا مي شود با طي مراحل بعدي به صورت سنجش انطباقي كامپيوتري ارتقا داد. براي ارايه مثال از بين سوالات اين بانك يك خرده آزمون كوتاه مدادكاغذي با سوالاتي كه قدرت تميز بالا و ضريب دشواري بيشتري دارند، انتخاب شده است. دامنه دشواري اين خرده آزمون كوتاه بين و ضريب تميز قرار داده شد و در نهايت 5 سوال برگزيده شده است كه تابع آگاهي اين خرده آزمون برابر با 48/12 و نقطه بيشينه آن روي پيوستار توانايي برابر با 35/1 است. بعلاوه سطح دشواري آزمون4/0 واحد انحراف معيار افزايش يافته و به علت كوتاه شدن دامنه آزمون از 30 سوال به 5 سوال ميزان آگاهي دهي از توانايي آزمون دهندگان نيز 46/3 برابر كاهش پيدا كرده است. بعلاوه براي اجراي سنجش انطباقي يك شبيه سازي انجام شده است كه تنها 8 تا 10سوال نياز بوده تا با 01/0 احتمال خطا به همان دقت آزمون30 سوالي توانايي افراد را اندازه گيري كرد.

T his article reports the process of establishing and developing calibrated item bank based on item- response theory. 30 differential calculi multiple choice items were experimentally administered on a sample group of 3409 junior high school students. Maximum Test Information Function over theta scale on point 0.95 was 43.21. On this point of the theta scale, the ability was estimated with minimum measurement error. After specifying test itemʹs parameters and calibrating the test items into a pool, Fast-test Professional Software, a linier sub test was developed with items discrimination of and local parameters , respectively. At last 5 items were selected among the 30 bankʹs items for the sub test and maximum subtest information function over the theta scale at point 1.35 was 12.48, and hence, information function level decreased 3.46 times because of the subtest shrinkage from 30 to 5 Items. Difficulty level of the subtest increased 0.4 standard deviation units. Furthermore, in order to run computerized adaptive testing, one post simulation study was lunched. This simulation study had shown at most 8 to 10 items were needed to measure individualsʹ ability with error probability less than 0.01 comparing with the origin test. One of the advantages of such calibrated item bank is estimating the individualsʹ ability based on calibrated tests with specific goals to decrease efforts and time consumptions and to enhance tests security. Indeed, leverage traditional paper and pencil test taking process to Computerized Adaptive Testing.