بررسي رتبه‌دهي ارزيابان آزمون‌هاي عملكردي سراسري (طراحي صنعتي، شناخت موسيقي، نمايش عروسكي، طراحي معماري و اسكيس معماري) بر اساس روش هاي كلاسيك و مدل هاي چندوجهي راش

هدف:  پژوهش حاضر به منظور بررسي ميزان جديت/تساهل و گرايش به مركز ارزيابان در نمره گذاري آزمون هاي عملكردي سراسري سازمان سنجش انجام شد.روش پژوهش: براي اين منظور از داده هاي ثانويه آزمون هاي طراحي معماري سال هاي 1396 (5437 نفر)، اسكيس معماري 1397 (7459 نفر)، طراحي صنعتي سراسري سال 1396 (1365نفر)، موسيقي سال 1397 (569 نفر) و نمايش عروسكي سال 1397 (97 نفر) استفاده شد. داده ها با استفاده از روش هاي كلاسيك و مدل هاي چند وجهي راش تحليل و نتايج استخراج شد.يافته‌ها: در هر دو آزمون طراحي معماري، در كل ميزان همساني (مطابقت نسبي بين درجه بندي ارزيابان) قابل قبول، ولي در آزمون هاي طراحي صنعتي، شناخت موسيقي و نمايشنامه نويسي ميزان همساني پايين است. ميزان اجماع (توافق) در هر پنج آزمون مورد بررسي نيز پايين است.نتيجه‌گيري: نتايج حاصل از مدل هاي چندوجهي نشان داد اثر سخت گيري ارزياب و استفاده از نمره هاي كرانه اي پايين در نمره گذاري، در هر دو آزمون طراحي معماري وجود داشت، ولي مطابق انتظار اثر گرايش به مركز وجود نداشت. به دليل استفاده از طرح هاي جمع آوري داده هاي نامناسب (مثلا در همه پاسخ ها يا تكاليف يك آزمون، هر داور فقط 2 مورد مجزا از هم را ارزيابي مي كند و هيچ همپوشي بين موارد ارزيابي شده توسط ارزيابان وجود ندارد تا با هم به صورت درست مقايسه شوند يا اين كه در يك آزمون هر تكليف يا سوال توسط داوران متفاوت ارزيابي مي شود) در آزمون هاي طراحي صنعتي، شناخت موسيقي و نمايشنامه نويسي امكان تحليل با مدل هاي چندوجهي وجود نداشت. با توجه به يافته ها توصيه مي شود به هنگام ارزيابي آزمون هاي عملكردي سراسري، اولا از طرح مناسب براي ارزيابي استفاده شود و دوما با آموزش ارزيابان در زمينه نمره گذاري آزمون هاي عملكردي از تاثير عواملي مثل جديت يا تساهل و كاهش توافق جلوگيري به عمل آيد.