تصحيح خودكار داده‌ها مبتني بر وابستگي تابعي و سيستم يادگيري مركب

Automatic Data Cleaning using Functional Dependency and Ensemble Learning

صحت داده‌ها يكي از مهم‌ترين ابعاد كيفيت داده‌ها به‌شمارمي‌رود. با توجه به حجم بالاي منابع داده‌اي نياز به روش‌هايي خودكار وجود دارد. در اين مقاله راهكاري خودكار براي تصحيح داده‌هايي با انواع داده‌اي متفاوت ارائه ‌شده ‌است. در اين راهكار در ابتدا ركوردهايي كه احتمالاً حاوي ويژگي خطا است با استفاده از وابستگي تابعي شناسايي‌مي‌گردد، بدين‌صورت كه ركوردي كه به ازاي يك وابستگي تابعي با بيش از از ركوردها در تناقض باشد، مشكوك به خطا است. سپس به ازاي هر ويژگي از منبع داده مورد بررسي، سيستم يادگيري مركب ساخته‌مي‌شود. سيستم يادگيري مركب از سه طبقه‌بند بيز، درخت تصميم و شبكه عصبي MLP تشكيل‌شده است و داراي استراتژي تركيب رأي اكثريت است. سيستم يادگيري مركب به‌وسيله ركوردهاي صحيح شناسايي‌شده مورد آموزش قرارداده ‌مي‌شود. پس از آموزش طبقه‌بندها، هر ويژگي غلط به‌عنوان كلاس هدف سيستم يادگيري‌مركب قرارمي‌گيرد و مقداري براي آن پيش‌بيني‌مي‌گردد. روش پيشنهادي قادراست چندين خطا در يك ركورد را شناسايي نمايد. آزمايش‌ها نشان‌مي‌دهد كه true negative rate الگوريتم پيشنهادي در بخش تشخيص خطا به‌طور متوسط 93.7% و در بخش تصحيح خطا به‌طور متوسط 90.6% است. هم‌چنين آزمايش‌ها نشان‌مي‌دهد كه ميزان پارامترهاي ارزيابي در الگوريتم پيشنهادي در مقايسه با دو الگوريتم مشابه مبتني بر وابستگي تابعي بهبود داشته است.

Data accuracy is one of the important aspects of data quality. According to high volume of data sources an automatic method is required. In this article an automatic method is proposed for cleaning of data with various data types. Initially, records that may contain incorrect attributes are detected using functional dependency, so that each record that inconsistent more than records for one functional dependency, probably is error. Thereafter ensemble learning is done for each attribute of data source. Ensemble learning contains 3 classifiar naïve bayes, decision tree and MLP, and voting is combination strategy. It is trained using correct records that identified in the initial steps. After training, each incorrect attribute is placed as target and predict values for it. Proposed method is able to clean data in data sources with different data types. Experiments show the true negative rate in detecting error part of the proposed algorithm is averagely 93.7% and in cleaning error part is averagely 90.6%. Also experiments show that evaluation parametrs are improved in proposed method compared with 2 similar methods.