بررسي روايي و پايايي ابزار ارزيابي نقادانه چكيده مقالات اصيل پژوهشي توسط داوران دانشجو در كنگره هاي پژوهشي دانشجويان علوم پزشكي كشور

Validity and reliability of a checklist for critical appraisal of the original research abstracts by student peer reviewers in medical student research congresses

زمينه و هدف: امروزه نكته مهم در استفاده از نتايج پژوهش هاي ارائه شده در كنفرانس هاي علمي، توانمندي استفاده كنندگان شواهد در ارزيابي كيفيت يافته هاست. استفاده از چارچوب استاندارد ارزشيابي همچون چك ليست هابه عنوان ابزار اصلي در داوري همتايان محسوب مي شود. لذا پژوهش حاضر با هدف بررسي روايي و پايايي چك ليست طراحي شده براي ارزيابي نقادانه چكيده مقالات اصيل پژوهشي توسط داوران دانشجو در كنگره هاي پژوهشي دانشجويان علوم پزشكي كشور انجام شد. مواد و روش ها: مطالعه حاضر بخشي از يك پژوهش از نوع مداخله آموزشي است كه در قالب يك دوره كارگاه آموزشي و با حضور 40 نفر از دانشجويان رشته پزشكي از دانشگاه هاي علوم پزشكي تهران برگزار گرديد. روش نمونه گيري از نوع غير احتمالي هدفمند مي باشد. شركت كنندگان قبل و پس از برگزاري كارگاه، با شبيه سازي داوري سه چكيده مقاله را ارزيابي كردند. پايايي چك ليست طراحي شده به دو روش مختلف شامل ضريب همبستگي اسپيرمن و ضريب آلفاي كرونباخ ارزيابي شد. روايي ابزار نيز به روش دلفي توسط متخصصين تاييد شد. يافته ها: در تمامي بخش هاي اصلي چكيده مقاله شامل مقدمه، روش بررسي، نتايج، نتيجه گيري و حيطه نظر كلي -هم در پيش آزمون و هم در پس آزمون- همساني دروني گزارش شد (p<0.05) ضريب پايايي آلفاي كرونباخ در بخش «روش بررسي» (0.926) عالي و در دو بخش «نتايج» (0.650) و «نتيجه گيري» (0.739) در پيش آزمون قابل قبول بود. نتيجه گيري: ابزار معرفي شده در مطالعه حاضر از روايي و پايايي قابل قبولي برخوردار بود. با توجه به حضور فعال دانشجويان علوم پزشكي در كنگره هاي پژوهشي دانشجويي بعنوان داور، استفاده از چنين چك ليست هاي ساختاري مي تواند در بهبود كيفيت ارزيابي چكيده مقالات و داوري همتايان موثر باشد.

Background: Nowadays, it is of utmost importance to critically appraise the research evidences presented in scientific congresses by the audiences. In addition to improvement in scientific and practical skills of critical appraisal, it is important to use a standard framework as the major tool for peer reviewing. We aimed to assess the validity and reliability of one proposed checklist for critical appraisal of the original research abstracts by student peer reviewers. Methods and Materials: This study was a part of an educational interventional project that was performed in a setting of a workshop where 40 medical students from the medical faculties of the universities in Tehran were recruited. Participants were selected using a non-probability purposive sampling method. Educational curriculum of the workshop included clarifying explanations on the 31-item checklist for peer reviewing of the abstracts as well as several tips about each item using lectures, simulations and group discussions during 10 hours. Medical students used the checklist twice, at beginning and the end of the workshop to score three sample abstracts. Data were collected and analyzed using Spearman correlation (internal consistency) and Cronbach’s’ alpha methods to calculate the reliability of different items and domains of the introduced peer reviewing checklist by SPSS software. Moreover, Delphi method was applied to confirm the validity of the instrument by experts’ opinion. Results: A group of experts finally confirmed the validity of this checklist by means of Delphi method. Moreover, internal consistency of the main domains of the checklist consisting of “Introduction”, “Methods”, “Results” and “Conclusion” were statistically significant (P<0.05). The coefficient of Cronbach’s alpha was calculated as excellent (0.926) in “Methods”, and acceptable in two other domains of “Results” (0.650) and “Conclusion” (0.739) in pre-test data. Conclusion: The introduced checklist was shown to be a structured, valid and reliable tool, which could be used in research congresses to improve the quality of peer reviewing. Keywords: Peer reviewing, Critical appraisal, Checklist, Reliability, Validity, Research Congress, Medical students