اثرات بي‌پاسخي پرسش بر شاخص‌هاي روان‌سنجي: شواهدي بر نامناسب بودن راهكار حذف

The Effects of Item Nonresponse on Psychometric Indexes: Evidence against Deletion Method

بي‌پاسخي پرسش چالشي جدي پيش روي اندازه‌گيري‌ها در مطالعات بزرگ‌مقياس است، مطالعاتي كه نقشي اساسي در تصميم‌گيري‌ها و سياست‌گذاري مربوط به آموزش و فرهنگ ايفا مي‌كنند. به دليل ايجاد سوگيري و خطا در برآورد پارامترهاي توزيع نمره‌ها و شاخص‌هاي روان‌سنجي، چالش بي‌پاسخي هم بر فرايند ساخت وسيله اندازه‌گيري و هم بر استفاده از آن اثر مي‌گذارد. از اين رو، هدف اين مقاله تأثير نرخ‌هاي مختلف بي‌پاسخي پرسش را بر تعدادي از اين شاخص‌ها و پارامترها تحت سازوكارهاي كاملاً تصادفي و غيرتصادفي با استفاده از يك مجموعه داده واقعي شبيه‌سازي مي‌كند. يافته‌ها نشان مي‌دهند كه بي‌پاسخي كاملاً تصادفي كمتر از 5 درصد قابل چشم‌پوشي است مشروط بر آنكه افراد بي‌پاسخ متفاوت از افراد داراي پاسخ نباشند. در مقابل، اگر بي‌پاسخي با هر نرخي غيرتصادفي باشد، شاخص‌هاي روان‌سنجي (آلفاي كرونباخ، ضريب پايايي دو نيمه كردن، ضريب روايي) و پارامترهاي توزيع نمره‌ها (ميانگين، انحراف‌معيار و چارك‌هاي نمره‌ها) مي‌توانند داراي سوگيري و نادقيق باشند. همچنين، بي‌پاسخي غيرتصادفي مي‌تواند به فاصله‌هاي اطمينان عريض و نتايج گمراه‌كننده‌اي منجر ‌شود. از اين رو، شواهد حاصل از اين مطالعه شبيه‌سازي از حذف افراد بي‌پاسخ براي رفع مشكل بي‌پاسخي حمايت نمي‌كند.

Item nonresponse is a serious challenge to the measurements in large-scale studies which plays a considerable role in decision and policy making about educational and/or cultural issues. This challenge affects both the process of instrument construction and its application because of big error and bias in the estimation of psychometric indexes and scores distribution parameters. Therefore, this paper aims at simulating the effects of different nonresponse rates under completely random and nonrandom item nonresponse by using a real data set. The results show that a nonresponse rate less than 5% can be ignorable under completely random nonresponse where there is no notable difference between respondents and non-respondents. In contrast, psychometric indexes (Cronbach’s alpha, split-half reliability coefficient and validity coefficient) and scores distribution parameters (mean, standard deviation and quartiles) can be biased and inaccurate if the item nonresponse at any rate is nonrandom. In addition, item nonresponse can lead to wide confidence intervals and misleading results. Hence, the simulation findings do not advocate the deletion of non-respondents from a data set as a solution to the nonresponse challenge.