جانشيني مقادير مفقود و تاثير آن بر دقت كلاسه بندي در داده كاوي پزشكي

Replacement of Missing Values and its Effect on the Classification Accuracy in Medical Data Mining

وجود مقادير مفقود در داده هاي پزشكي مي تواند تمام فرآيند داده كاوي و تفسيرهاي حاصل را تحت تاثير قرار دهد. بنابراين برخورد با اين مقادير ضروري مي باشد. در اين پژوهش تاثير روش هاي مختلف برخورد با مقادير مفقود بر روي دقت كلاسه بندي داده هاي پزشكي مورد ارزيابي قرار گرفت. روش: در اين مطالعه، تاثير روش هاي معروف جانشيني مقادير مفقود شامل mean/mode، hot deck، knearest neighbor، maximum possible value، all possible value، case deletion و regression بر روي دقت كلاسه بندي مجموعه داده هاي پزشكي سرطان سينه، ناراحتي قلبي، بيماري هاي پوستي، هپاتيت، تيروئيد، ديابت، تومور اوليه، بيماران كبدي، سرطان ريه و بعد از جراحي، به ازاي شش نرخ مختلف مقادير مفقود، ارزيابي شد. در آزمايش ها از دو كلاسه بند شبكه هاي عصبي و نزديكترين k همسايه در نرم افزار داده كاوي weka استفاده شد. براي تخمين دقت، از روش 10fold cross validation استفاده شد.نتايج: نتايج نشان داد براي كلاسه بند شبكه هاي عصبي، همه روش هاي جانشيني در برابر نرخ هاي مختلف مقادير مفقود، تاثيرات متفاوتي در دقت كلاسه بندي داشتند. براي كلاسه بند نزديكترين k همسايه، روش جانشيني mean/mode در مقايسه با ساير روش ها تقريباً با افزايش نرخ مقادير مفقود، باعث افزايش دقت كلاسه بندي گرديد. در مجموع، هيچ يك از روش هاي جانشيني به ازاي همه نرخهاي مختلف مقادير مفقود، همواره بيشترين دقت را نتيجه نداده و برتري نداشت.نتيجه گيري: تحليل نتايج نشان مي دهد روش هاي جانشيني بررسي شده به ازاي همه نرخ هاي مختلف از مقادير مفقود شده لزوماً باعث بهبود دقت كلاسه بندي نگرديده و هيچ كدام از روش هاي جانشيني بررسي شده بهترين روش نيستند.

Introduction: The missing values in medical data may impact the data mining process and any kind of interpretation. Thus the treatment of these missing values is a necessary task. In this research, the effect of various methods of dealing with missing values on medical data classification accuracy is evaluated. Method: This paper studied the effect of missing data replacement methods including Mean/Mode, Hot Deck, K-Nearest Neighbor, Maximum Possible Value, All Possible Value, Case Deletion, and Regression on classification accuracy for two popular classifiers namely K-nearest-neighbor and Neural Networks from Weka Data mining tool on 10 medical datasets including Breast Cancer, Cardiac Problems, Dermatology, Hepatitis, Thyroid, Diabetes, Primary Tumor, Liver Patient, Lung Cancer and Post-Operative Patient. These were selected from the six amounts of missing values. For classification accuracy estimation, the 10-fold cross validation method is used. Results: The results show that although the mean/mode method almost had better classification improvement that, none of the replacement methods for all amounts of missing values, is not always the most accurate classification with increasing amounts of missing values for the K-nearestneighbor classifier. There was no supremacy for all the replacement methods against the various amounts of missing values for any of the replacement methods for all data sets with different amounts of missing values. Conclusion: The current study shows that the replacement methods that have been evaluated for all the different rates of missing values do not necessarily improve the accuracy of classification and none of the investigated replacement methods is not absolutely the best one.