پايايي معيارهاي پذيرش دانشجوي دكتري مهندسي برق قدرت در ايران: رويكردي بر مبناي تئوري تعميم‌پذيري

Reliability of Electrical Power Engineering PhD Admission Criteria's in Iran: Based on Generalizability Theory

فرايند سنجش و پذيرش افراد توانمند و كارآمد براي تحصيل در دورۀ دكتراي تخصصي در ايران بسيار پر چالش بوده است. اهميت اين مسئله به حدي است كه ويژگي‌هاي روان‌سنجي سنجه‌هاي پذيرش و ملاك‌هاي مهم آن، همچنين شيوۀ آزمون‌گيري به صورت تستي يا تشريحي براي تدوين الگوي بهينۀ پذيرش داوطلبان همواره در بين مجامع دانشگاهي، سياست‌گذاران، و متقاضيان ورود به تحصيلات تكميلي محل بحث و جدال است. هدف اوليۀ اين پژوهش مشخص كردن ضرايب شبه پايايي اين معيارها بوده است. روش اين پژوهش از نوع توصيفي است، و در چارچوب تئوري تعميم‌پذيري، پايايي سنجه‌ها و معيارهاي-داده‌هاي ثانويه-مربوط به برنامۀ سنجش و پذيرش دكتري رشتۀ مهندسي برق گرايش قدرت در 37 دانشكدۀ پذيرندۀ دكتري در دانشگاه‌هاي ملي مختلف در سال 1397 را بررسي كرده است. داده‌ها با نرم‌افزار mGENOVA بر اساس تحليل چند متغيري با يك طرح تك رويه‌اي p^•×i^° تحليل شده‌اند. نتايج نشان داد كه چهار آزمون تخصصي، و دو آزمون عمومي به دليل سختي سؤالات و بي‌پاسخ بودن، و به‌كارگيري نمره‌گذاري فرمولي، پايايي و دقت مناسبي ندارند. دو معيار تركيبي مصاحبه كه از سنجه‌هاي متفاوتي تشكيل شده‌اند، از ضرايب تعميم‌پذيري و اعتمادپذيري بهتري برخوردار بودند. افزودن معدل كارشناسي و كارشناسي ارشد، به عنوان متغير پيش‌بيني‌كنندۀ جداگانه، به دليل محدوديت دامنه در برآورد نمرات جهاني تركيبي كارايي چنداني ندارد. در يك برنامۀ پذيرش دكتري كه سازۀ زيربنايي‌اي بسيار گسترده‌اي تعريف، و سنجه‌هاي چندگانه‌اي استفاده مي‌شود، مؤلفه‌هاي خطاي بيشتري نيز وجود خواهد داشت. بنابراين، نمي‌توان تنها يك مقدار پايايي معين براي سنجه‌هاي آن مشخص كرد. امّا با تعديل سطوح دشواري آزمون‌ها، استفاده از طرح‌هاي نمره‌گذاري سهمي سؤالات بدون جريمه حدس شانسي، نمونه‌گيري كاملتر از سازۀ زيربنايي و افزايش لايه‌هاي سطوح مي‌توان تصميم‌گيري‌هاي آموزشي با ريسك بالا را براي طبقه‌بندي افراد، با پيش‌بيني‌هاي نادرست كمتري انجام داد. كليدواژه‌ها

The assessment process for the admission of qualified candidates applying for doctoral programs in Iran has always been a challenging issue, leading to debates among academic communities about the psychometric properties of the admission criteria. Using the generalizability theory as the framework, this study investigated the reliability-like coefficients of the secondary data measures and the criteria related to the Ph.D. admission program at 37 departments admitting Electrical Power Engineering candidates at the Ph.D. level in different state universities in 2018. Data were analyzed using mGENOVA software with onefacet 𝑝 • × 𝑖 °design. The results suggested that due to the high difficulty of items, omitted responses, and using scoring formula, four Subject Test Batteries (STB) and two General Test Batteries (GTB) did not have adequate generalizability and dependability coefficients. Two interview scores, which included different measures, showed better coefficients. However, little predictive value was found for the candidates’ undergraduate grade-point average (UGPA) and graduate grade-point average (GGPA) due to their restricted range. Indeed, broadly defining the underlying construct and including multiple measures in the assessment design for doctoral programs leads to more error components in the results. Therefore, it is not possible to determine an exclusive reliability index for the predictive measures involved in the test. However, high-stakes educational decisions for the classification of applicants may be accomplished with fewer false predictions by adjusting test difficulty, using partial scoring schemes without correction for guessing, specifying the underlying construct more thoroughly, and increasing the levels of the facets