يك روش بدون پارامتر مبتني بر نزديكي براي تشخيص داده‌هاي پرت

A Non-Parametric Proximity-Based Method for Outlier Detection

تشخيص داده‌هاي پرت به عنوان يك حوزه تحقيق در داده‌كاوي و يادگيري ماشين بوده و يك گام مهم در پيش‌پردازش داده‌ها به حساب مي‌آيد. در اين مقاله يك روش بدون پارامتر به منظور تشخيص داده‌هاي پرت مبتني بر نزديكي به نام NPOD ارائه شده است. رهيافت ارائه‌شده، تركيبي از روش‌هاي مبتني بر فاصله و مبتني بر چگالي بوده و توانايي تشخيص پرت‌ها را به صورت سراسري و محلي دارد. اين روش نياز به تعيين هيچ يك از پارامترهاي شعاع همسايگي، حد آستانه نقاط موجود در شعاع همسايگي و پارامتر نزديك‌ترين همسايگي ندارد. NPOD براي تشخيص داده‌هاي پرت، يك روش جديد نمره‌دهي ارائه مي‌دهد. ارزيابي نتايج بر روي مجموعه داده‌هاي UCI نشان مي‌دهد كه اين الگوريتم با وجود بدون پارامتر بودنش، عملكردي قابل رقابت با روش‌هاي پيشين و در بعضي مواقع بهترين عملكرد را دارد.

The detection of outliers is a task in data mining and machine learning and it’s an important step in data preprocessing. In this paper, in order to detect proximity-based outliers, a non-parametric method is proposed called NPOD. The proposed method is a combination of distance-based and density-based methods and has the ability to detect outliers in both local and global scenarios. This method does not require to determine any parameters of neighborhood radius, the threshold of existing points in the neighborhood radius, and the nearest neighbor parameters. In order to detect outliers, a new method of scoring is presented. Experimental results on the UCI datasets show that this algorithm, in spite of being non-parametric, has comparable results with previous methods. Also in some cases, it has the best performance.