يك ساختار يكپارچه براي اتوانكدر چندلايه به منظور آموزش ماشين يادگيري سريع عميق

Training a deep extreme learning machine by integrated structure and efficient learning algorithm for a deep autoencoder

اخيرا تعداد زيادي الگوريتم بر پايه ي ماشين يادگيري سريع براي آموزش دادن ساختار هاي شبكه هاي عصبي عميق معرفي شده اند .اتوانكدر مبتني بر ماشين يادگيري سريع يكي از اين الگوريتم هاست كه براي ايجاد ساختار چندلايه و تعيين پارامترهاي هر لايه از مدل معرفي شده است. در الگوريتم آموزش اتوانكدر مبتني بر يادگيري سريع، وزنها در لايه اول به صورت تصادفي مقدار دهي مي شوند كه باعث ايجاد خطاي بازسازي مي شود. فرايند تكراري استفاده از اين اتوانكدر ها منجر به پخش خطا درساختار عميق شده و منجر به كاهش كارايي كل مدل خواهد شد. در اين مقاله يك اتوانكدرچندلايه براي تعيين پارامترهاي يك شبكه عصبي عميق ارايه شده است. همچنين يك الگوريتم نوين براي آموزش اين مدل معرفي مي شود كه از پخش خطا جلوگيري مي كند. به منظور افزايش كارايي مدل به جاي مقداردهي تصادفي پارامترهاي اولين از يك اتوانكدر تكرار شونده بهره مي بريم كه در يك فرايند تكراري پارامترهاي اولين لايه را به بهترين حالت تعيين مي كند. براي طبقه بندي داده ها به كمك ويژگي هاي استخراج شده، از يك ماشين يادگيري سريع تك لايه استفاده شده است. آزمايش ها براي طبقه بندي داده ها نشان مي دهد كه روش پيشنهادي ميانگين دقت روي همه ي مجموعه داده ها را به ترتيب به ميزان 4%، 26%، 17% و 31% نسبت به روش هاي موجود بهبود داده است. براي نشان دادن كارايي اتوانكدر چندلايه از اين مدل براي بازسازي تصاوير استفاده شده است و نتايج ديداري نشان دهنده ي كارايي بهتر روش پيشنهادي در بازسازي تصاوير مي باشد.

Recently, a number of Extreme Learning Machine (ELM) based training algorithms have been introduced for training deep neural network structures. ELM based Auto-Encoder (ELM-AE) is one such algorithm that has been used for making multilayer structures and tuning parameters of each layer. In a simple ELM-AE training algorithm, the weights of the first layer are initialized randomly. This issue is a leading factor in producing reconstruction error. The frequent use of ELM-AE in deep network layers results in propagating such errors through deep structures and in decreasing performance as a consequent. In this paper, we introduce a multilayer structure and a new learning algorithm to train it that prevents error propagation. In order to boost the performance of the model, the parameters in the first layer are initialized by a novel type of ELM-AE called Repeated-AE (RAE) rather than by a random selection method. This RAE-based technique determines the parameters in the first layer far better than do the other ELM-AE existed methods. Next, a single hidden layer ELM is applied for handling the classification task. Experimental results for data classification show that the proposed method outperforms some other methods in terms of the average accuracy over all datasets by amounts of 4%, 26%, 17% and 31%. Eventually, so as to verify the performance of the proposed multilayer ELM-AE in application, we used this model to reconstruct images. The reconstructed images obtained by our approach appeared visually a lot better compared to those obtained by the other methods do.