بررسي روايي و پايايي آزمون مشاهده مستقيم مهارت هاي عملي (DOPS) در ارزيابي مهارت هاي باليني دانشجويان مامايي دانشكده پرستاري و مامايي دانشگاه علوم پزشكي كاشان

Validity and Reliability of Direct Observation of Procedural Skills in Evaluating Clinical Skills of midwifery Students of Kashan Nursing and Midwifery School

زمينه و هدف: مشاهده مستقيم مهارت هاي عملي، روشي براي ارزيابي عيني مهارت هاي عملي و دادن بازخورد در دانشجويان است. اين مطالعه، با هدف بررسي روايي و پايايي آزمون مشاهده مستقيم مهارت هاي عملي در ارزيابي مهارت هاي باليني دانشجويان مامايي انجام شده است. مواد و روش ها: در مطالعه اي از نوع توصيفي - تحليلي، 44 دانشجوي مامايي دوره كارورزي در عرصه دانشكده پرستاري و مامايي دانشگاه علوم پزشكي كاشان به روش سرشماري انتخاب شده اند. طبق نظريه هاي اعضاي هيات علمي دانشگاه هاي گيلان، زاهدان و كاشان از بين مهارت هاي اصلي مامايي، 4 مهارت جهت مواد آزمون انتخاب و چك ليست ارزيابي آنان تهيه شده است. دانشجو در حين انجام مهارت در محيط كار واقعي توسط آزمونگر مشاهده گرديده و نتايج بر طبق چك ليست ساختار يافته ثبت و در محيط مناسب بازخورد عيني انجام شده است. روايي محتوايي، روايي ملاكي (همبستگي ميانگين نمرات دروس باليني و نظري مامايي به تفكيك با نمره dops -رابطه هر گويه با نمره dops هر مهارت)-روايي سازه (بررسي ساختار دروني) و پايايي (تعيين همساني دروني - پايايي بين ارزيابان) با نرم افزار آماري (SPSS) تجزيه و تحليل گرديده است. يافته ها: روايي محتوايي آزمون dops با استفاده از شاخص روايي محتوايي بيش از 75. و نسبت روايي محتوايي بيش از 50. گزارش شده است. همبستگي نمرات dops با ميانگين نمرات نظري و باليني به ترتيب 0.071(p=0.647) و 0.093(p=0.548) بوده است. همبستگي هر مهارت با نمره كل dops، ارتباط معناداري داشته كه خود، بيانگر ساختار دروني مطلوب آزمون و تامين اعتبار سازه نيز مي باشد. (p<0.001). پايايي آزمون توسط ضريب آلفا كرونباخ، 0.814 اندازه گيري شده است. كمترين و بيشترين مقدار ضريب همبستگي در پايايي بين ارزيابان، به ترتيب 0.97 و 0.99 بوده كه در تمام موارد معنادار بوده اند (P<0.001). رضايت دانشجويان از آزمون dops در محدوده راضي تا بسيار راضي، 78.2 درصد گزارش شده است. نتيجه گيري: با توجه به نتايج مطالعه، استفاده از dops براي سنجش عيني مهارت هاي باليني در مامايي داراي روايي و پايايي مي باشد.

Background: Direct observation is a method for objective assessment of practical skills and giving feedback to the students. This study investigated the reliability and validity testing direct observation of practical skills in the assessment of midwifery students’ clinical skills. Material and Method: In this cross-sectional study, participants included 44 midwifery students Internship of Kashan University Medical Sciences selected through census sampling method. Based on faculty members of Guilan, Kashan and Zahedan universities’ opinions foure midwifery skills choosed among the basice clinical skills and prepared related check list. Students were obzerved over the procedure in a real work environment by the experimenter and recorded the results according to the check list and objective feedback was given to the students. Content validity - criterion validity (correlation between mean score of clinical and theoretical courses of midwifery and dops - Each item relationship with dops each skill) - validity (internal structure), reliability (internal consistency determination - rater reliability) was analyzed using the SPSS software. Result: Dops test content validity index and content validity ratio were reported over 0.75% and 0.50%, respectively.Dops scores correlated with theoretical, 0.071 (p =0.647) and clinical 0.093 (p =0.548).The dops significantly correlated with the total score of each skill expressing the desired internal validity (p<0/001). Reliability test was measured using Cronbach's alpha coefficient(0.814). the Minimum and maximum values of the correlation coefficient of interrater reliability were 0.97 and 0.99, respectivelywhich were significant in all cases (p<0.001).Students’ satisfaction was rated from satisfay to very satisfy with 78.2 percent. Conclusion: According to the results of tha study, dops has suitable validity and reliability to use for objective evaluation of onstetrical skills