افزايش نرخ كارايي طبقه بندي با استفاده از تجميع ويژگي هاي موثّر روش هاي مختلف تركيب شبكه هاي عصبي

Improving classification performance using combination features of different neural network ensemble methods

روش هاي يادگيري همبستگي منفي و اختلاط خبره ها، به عنوان دو روش معروف تركيب شبكه هاي عصبي، از توابع خطاي منحصر به فرد و البته متفاوتي براي آموزش شبكه هاي پايه، به صورت هم زمان استفاده كرده، كه شبكه هايي با همگرايي منفي توليد مي كنند. در اين مقاله ويژگي هاي مختلف اين دو روش را مرور و نقاط قوت و ضعف آنها را در مقايسه با يكديگر بررسي مي كنيم. بررسي خصوصيات اين دو روش در مقايسه با يكديگر نشان داد كه آن ها ويژگي هاي متفاوت و البته مكملي نسبت به هم دارند؛ به نحوي كه اگر بتوان سيستمي تركيبي شامل ويژگي هاي مثبت هر دو روش طراحي كرد، به احتمال كارايي بهتري از روش هاي پايه خود داشته باشد. در اين مقاله ايده اي براي تركيب ويژگي هاي اين دو روش پيشنهاد كرده ايم. در اين روش، قابليت پارامتر كنترلي روش يادگيري همبستگي منفي به تابع خطاي روش اختلاط خبره ها افزوده شده، كه اين روش را قادر مي سازد تعادل بهينه اي را در توازن باياس ـواريانس ـ كوواريانس ايجاد و كارايي را افزايش دهد. روش تركيبي پيشنهاد شده، در چند مساله آزمون پيش بيني و طبقه بندي با روش هاي پايه اختلاط خبره ها و يادگيري همبستگي منفي مورد مقايسه قرار گرفته است. نتايج آزمايش ها نشان داده است كه روش تركيبي پيشنهاد شده، با حفظ نقاط قوّت و كاهش ضعف هاي روش-هاي پايه، توانسته كارايي را به طور قابل ملاحظه اي نسبت به آنها افزايش دهد.

Negative Correlation Learning (NCL) and Mixture of Experts (ME), two popular combining methods, each employ different special error functions for the simultaneous training of NN experts to produce negatively correlated NN experts. In this paper, we review the properties of the NCL and ME methods, discussing their advantages and disadvantages. Characterization of both methods showed that they have different but complementary features, so if a hybrid system can be designed to include features of both NCL and ME, it may be better than each of its basis approaches. In this study, an approach is proposed to combine the features of both methods, i.e., Mixture of Negatively Correlated Experts (MNCE). In this approach, the capability of a control parameter for NCL is incorporated in the error function of ME, which enables the training algorithm of ME to establish better balance in bias-variance-covariance trade-offs. The proposed hybrid ensemble method, MNCE, are compared with their constituent methods, ME and NCL, in solving several benchmark problems. The experimental results show that our proposed method preserve the advantages and alleviate the disadvantages of their basis approaches, offering significantly improved performance over the original methods.