بررسي اعتبار نمرات سوابق تحصيلي، نمرات آزمون سراسري و نمرات تركيبي در پذيرش دانشجويان با استفاده از تئوري تعميم پذيري

Investigating the validity of grade point average scores , national university entrance exam scores and composite scores using Generalizability Theory

بنا بر تصويب قانون پذيرش دانشجويان در سال هاي آينده بر اساس افزايش تدريجي سهم سوابق تحصيلي آن ها در تركيب با نمره ي آزمون سراسري، مشخص كردن كم و كيف تركيب اين دو نوع نمره براي انتخاب شايسته ي متقاضيان ورود به دانشگاه ها، يكي از مهم ترين چالش هاي تصميم گيرندگان در سازمان سنجش آموزش كشور بوده است. اين پژوهش به منظور بررسي اعتبار نمرات حاصل از سوابق تحصيلي، آزمون سراسري و تركيب آن ها بر اساس تئوري تعميم پذيري صورت گرفته است. روش تحقيق به صورت توصيفي بوده و در آن نمرات سوابق تحصيلي يك سال آخر 5608 دانش آموزان گروه رياضي و فني به همراه رتبه ي دروس مشابه در آزمون سراسري آن ها مورد تجزيه وتحليل قرار گرفته است. نتايج نشان داد كه هم نمرات سوابق تحصيلي و هم نمرات آزمون سراسري براي رتبه بندي و ارتقاي افراد به مراحل بعدي آموزش به تنهايي داراي ضرايب تعميم پذيري بهينه اي هستند؛ واريانس واقعي هر سري از اين نمرات جداگانه مي توانند افراد را براي ادامه تحصيل رتبه بندي كنند. اما تركيب اين دو نوع نمره اثربخش نيست. آزمون كنكور هنجار مرجع و با چولگي مثبت است و سوابق تحصيلي از آزمون هاي مختلف به دست مي آيد كه ملاك مرجع و با چولگي منفي هستند. تركيب آن ها ايجاد يك توزيع دو نمايي مي كند كه در برآورد نمره ي واقعي واريانس صفر يا منفي توليد مي كند و ضرايب تعميم پذيري به دست آمده را بي اعتبار مي سازد. درنهايت تبديل نمرات به رتبه هاي صدكي براي حذف چولگي و سپس تبديل رتبه ها به توزيع نمرات استاندارد z براي تركيب كردن توزيع دو نوع نمره، باعث افزايش واريانس واقعي و بهبود ضرايب تعميم پذيري و اعتمادپذيري مي شود. همچنين در تهيه ي نمره ي كل تركيبي براي اين گروه آزمايشي بايد تعداد دروس عمومي آن ها را كاهش داد و هم زمان تك نمره ي رياضي در خرده آزمون هاي اختصاصي آن ها را به 4 لايه نمره تفكيك كرد.

Introduction: According to the ratified law to accept students in future based on increasing the share of their Grade Point Average (GPA) scores in combination with National Entrance Exam (NEE) scores and (omitting the NEE’s role gradually) specifying quality and quantity of the combination of these two scores for the good selection of university applicants has been one of the most challenging problems for the decision makers at National Organization of Educational Testing (NOET). Objective This research has been done in order to assess the dependability of GPA scores, NEE scores, and their combination based on Generalizability Theory. Method The research method was descriptive based on which GPA and NEE scores of 5608 students in mathematics and engineering were analyzed. Results Results have shown that each of dual testing methods (GPA scores and NEE scores) used for ranking and selecting the cognizant applicants to the next educational level has the optimum generalizability coefficient; The true variance of each set of these scores can rank persons for the next level of education, but the combination of the two was not efficient . Conclusion The NEE is a norm-referenced test with positive skewness, and GPA scores coming from different test are criterion-referenced tests with negative skewness .Combination of these scores has made a bi-modal distribution which produces zero or negative variance and makes the generalizability coefficient invalid. Converting scores to percentile ranks for elimination skewness and then converting ranks to standard-z score distribution in order to combine the distributions of these scores results in increasing the true variance and improving both generalizability coefficients and Index of dependability .Moreover ,to composite score for this group the levels of general exam in NEE should be reduced to 3 produce a total scores and simultaneously the unique score of mathematic sub-tests in specialized test-split to 4 layers of scores.