رويكرد چند هدفه مبتني بر روش‌هاي فرا ابتكاري براي مسئله انتخاب زير مجموعه ويژگي‌ها

A Multi-objective Approach to the Problem of Subset Feature Selection Using Meta-heuristic Methods

هدف: پيدا كردن زير مجموعه‌اي از مجموعه ويژگي‌ها، مسئله‌اي است كه در زمينه‌هاي مختلفي مانند يادگيري ماشين و شناسايي آماري الگوها، كاربرد گسترده‌اي دارد. با توجه به اينكه افزايش تعداد ويژگي‌ها، هزينه محاسباتي سيستم را به‌طور تصاعدي افزايش مي‌دهد، اين پژوهش به‌دنبال طراحي و پياده‌سازي سيستم‌هايي با كمترين تعداد ويژگي و كارايي قابل قبول است. روش: با توجه به لزوم جست‌وجوي كارآمد در فضاي جواب، در اين پژوهش براي انتخاب ويژگي در داده‌هاي چندكلاسه، از الگوريتم ژنتيك (GA) و الگوريتم ژنتيك با مرتب‌سازي نامغلوب (NSGA II) چندهدفه با هدف افزايش دقت طبقه‌بندي و كاهش تعداد ويژگي‌ها استفاده شده است. روش ارائه شده، بر مبناي دو روش طبقه‌بندي ماشين بردار پشتيبان (SVM) و K نزديك‌ترين همسايه (KNN) روي 6 مجموعه داده اعتباري به اجرا درآمد و نتايج آن تجزيه و تحليل شد. يافته‌ها: الگوريتم ژنتيك و الگوريتم ژنتيك با مرتب‌سازي نامغلوب چندهدفه براي افزايش دقت طبقه‌بندي و كاهش تعداد ويژگي‌ها در مسئله انتخاب ويژگي در داده‌هاي چندكلاسه كاركرد مناسبي دارند. نتايج به‌دست‌آمده، نشان‌دهنده بهبود در دقت طبقه‌بندي، هم‌زمان با كاهش چشمگير در تعداد ويژگي‌ها در هر دو روش ماشين بردار پشتيبان و نزديك‌ترين همسايه است. نتيجه‌گيري: با توجه به نتايج، رويكرد پيشنهادشده در اين پژوهش براي مسئله انتخاب ويژگيها كارايي بسيار خوبي دارد.

Objective: Finding a subset of features is an issue that has been widely used in a variety of fields such as machine learning and statistical pattern recognition. Since increasing the number of features increases the computational cost of a system, it seems necessary to develop and implement systems with minimum features and acceptable efficiency. Methods: Considering objective, it's developmental research and in terms of two Meta-heuristic algorithms, namely genetic algorithm (GA) and multi-objective non-dominated sorting genetic algorithm (NSGA II). The multi-objective method compared to the single-objective method has reduced the number of features to 50% in all instances; it doesn't make much difference in classification accuracy. The proposed method is applied on six datasets of credit data, and the results were analyzed using two common classifiers namely, support vector machine (SVM) and K-nearest neighbors (KNN). Comparing two classifiers applied on datasets, K- nearest neighbors (KNN) compared to the support vector machine (SVM) has shown relatively better performance in increasing the classification accuracy and reducing the number of attributes. Results: Genetic algorithm and multi objective non-dominated sorting genetic algorithm have a good performance in increasing the accuracy of classification and reducing the number of attributes in feature selection problem of multi-class data. The results also indicate an increase in classification accuracy, simultaneously with a significant decrease in the number of features in both KNN and SVM methods. Conclusion: According to the results, the proposed approach has a high efficiency in features selection problem.