ارزشيابي عملكرد الگوريتم مجموع تراكمي در كشف طغيان

Evaluating the Performance of an Outbreak- Detection Algorithms using Semi-Synthetic Approach: Cumulative Sum Algorithm

مقدمه و اهداف: آمادگی، كشف زودرس و پاسخ به‌هنگام به بيماری‌های نوپديد و طغيان‌ها يكی از مهم‌ترين اولويت‌های بهداشت عمومی و نظام‌های سلامت است. مطالعه‌هايی بسيار محدود در دنيا به‌طور همزمان برای ارزشيابی روش‌های كشف طغيان، روی داده‌های يكسان و با استفاده از رويكرد ارزشيابی عملكرد بر مبنای داده‌های نيمه‌شبيه‌سازی شده، اقدام كرده‌اند. رسالۀ حاضر نيز با هدف ارزشيابی عملكرد الگوريتم مجموع تراكمی در شناسايی به‌هنگام 831 روز طغيان نيمه‌شبيه‌سازی شده، انجام شده‌ است. روش كار: در اين مطالعه، عملكرد الگوريتم مجموع تراكمی در كشف طغيان‌های نيمه‌شبيه‌سازی شده با استفاده از داده‌های موارد گزارش شدۀ روزانۀ مشكوك به سرخك، طی سال‌های 1387 تا 1389، ارزشيابی گرديد. عملكرد اين الگوريتم با استفاده از شاخص‌های حساسيت، درصد هشدار كاذب، نسبت‌های درست‌نمايی و سطح زير منحنی راك ارزيابی شد. نتايج: حساسيت الگوريتم مجموع تراكمی در شناسايی طغيان‌های شبيه‌سازی شده 50 درصد، با فاصلۀ اطمينان 95 درصد (54- 47) بود. عملكرد اين الگوريتم بسته به اندازه، شكل و دورۀ طغيان شبيه‌سازی شده متفاوت است. از نظر شاخص به‌هنگام‌بودن نيز، به‌طور متوسط، كمترين فاصلۀزمانی بين روز واقعی شروع طغيان بر مبنای داده‌های نيمه‌شبيه‌سازی شده تا زمان كشف طغيان، بااين الگوريتم، 84/13روز بود. نتيجه‌گيری: اگرچه نتايج مطالعه بيانگر عملكرد خوب الگوريتم مجموع تراكمی در شناسايی طغيان‌های با اندازۀ بزرگ و دورۀ كوتاه بود، اما عملكرد اين الگوريتم، به‌ويژه در شناسايی طغيان‌های با دورۀ طولانی و اندازۀ كوچك، ضعيف بود.

Background & Objectives: Timely response to emerging diseases and outbreaks are a major public health and health systems priority. There are few published studies that evaluate the performance of cumulative sum (CUSUM) on identical data using semi- synthetic simulation approach. This study was undertaken to determine the performance of the CUSUM in timely detection of 831 days of simulated outbreaks. Methods: We evaluated the performances of the CUSUM as an outbreak detection method on simulated outbreaks injected to daily counts of suspected cases of measles as baseline data in Iran between 21 March 2008 till 20 March 2011. Data obtained from the Iranian national surveillance system. The performance of algorithms was evaluated using sensitivity, false alarm rate, likelihood ratios and Area under the Receiver Operating Characteristic (ROC) curve. Results: Generally the sensitivity of the CUSUM algorithm in detecting simulated outbreaks was 50% (95% CI: 47- 54). The corresponding values are disaggregated according to outbreak size, shape and duration. The CUSUM algorithm detected the half of outbreaks after 13.84 days on average. Conclusion: We concluded that CUSUM algorithm performed good in detection of large outbreaks with short periods and poorly in detecting long period outbreaks, particularly those simulated outbreaks that did not begin with a surge of cases.