Raters’ Perception and Expertise in Evaluating Second Language Compositions

آموزش مصححان در اعتبار سازه ي آزمون هاي نگارش بسيار حايز اهميت است. دليل اين اهميت اين است كه از طريق آموزش، مصححان به استفاده از توانايي دانش آموزان بجاي معيار هاي شخصي در ارزيابي مهارت نگارش تغيير رويه مي دهند. با وجود آنكه مباحث زيادي در رابطه با سنجش مهارت نگارش مطرح شده، اما تحقيقات بسيار كمي به برسي نحوه ي نگرش مصححان و شيوه ي برخورد ايشان با برنامه ي آموزشي پرداخته اند. همچنين، مطالعات بسيار كمي تفاوتهاي بين مصححان آموزش ديده و مصححان آموزش نديده در ارزيابي مهارت نگارش را مورد برسي قرار داده اند. علاوه بر آن، مطالعات كمي در حوزه ي سنجش مهارت نگارش، از متد قبل و بعد آموزش استفاده كرده اند. در اين تحقيق به برسي ميزان تاثير و نحوه ي عملكرد برنامه ي آموزشي بر روي مصححان با تجربه و مصححان بي تجربه پرداخته شد. 12 مصحح شركت كننده در اين مطالعه تعداد 45 برگه نگارش را در سه مرحله ي قبل، بعد و در خلال برنامه ي آموزشي تصحيح كردند. همچنين، اين برگه ها توسط مربي دوره ي آموزشي به منظور استفاده به عنوان معيار سنجش نيز تصحيح شدند. يافته هاي اين تحقيق نمايانگر وجود ناهماهنگي گسترده تري در ميان مصححان بي تجربه نسبت به مصححان با تجربه در مرحله ي قبل از اجراي برنامه ي آموزشي بود. اما پس از اجراي برنامه ي آموزشي، نتايج از وجود هماهنگي بسيار بالاتري در ميان مصححان بي تجربه در مقايسه با مصححان با تجربه در اين مرحله از برنامه ي آموزشي حكايت دارند.

The consideration of rater training is very important in construct validation of a writing test because it is through training that raters are adapted to the use of students’ writing ability instead of their own criteria for assessing compositions (Charney, 1984). However, although training has been discussed in the literature of writing assessment, there is little research regarding raters’ perceptions and understandings of the training program. Although a few studies have looked at the differences between trained and untrained raters in writing assessment (Cumming, 1990; Huot, 1990), few studies have used a pre-and post-training design. The purpose of this study is to investigate the effectiveness of the training program on experienced and inexperienced raters with regard to a pre-and post- training design. Twelve EFL raters scored 45 pre-rated benchmark essay compositions by an authorized IELTS trainer. These essay compositions were scored before, during and after the training program. The results regarding the comparison across raters showed that inexperienced raters had wider range of inconsistency before training but they became more consistent than experienced raters after training