بهبودي بر شبكه‌هاي عصبي چند لايه انتشار برگشتي با به كارگيري نرخ يادگيري متغير و تيوري اتوماتان و تعيين نرخ يادگيري بهينه

Improving multilayer back propagation neural networks by using variable learning rate and automata theory and determining optimum learning rate

شبكه‌هاي عصبي چند لايه پيش خور از ديرباز به طور وسيعي مورد توجه محققان بوده است. اين شبكه‌ها علي‌رغم موفقيت چشم‌گير در برقراري ارتباط بين ورودي و خروجي، داراي چندين نقطه ضعف بوده‌اند. به عنوان مثال زمان آموزش اين شبكه‌ها نسبتاً طولاني است و گاهي ممكن است اين شبكه‌ها آموزش نبينند. دليل طولاني بودن زمان آموزش را مي‌توان به انتخاب نامناسب پارامترهاي شبكه نسبت داد. روش به دست آوردن پارامترهاي وزن وباياس شبكه، استفاده از گراديان تابع انرژي شبكه مي‌باشد. همان طور كه مي‌دانيم تابع خطاي شبكه داراي سطح ناهمواري بوده لذا شبكه در نقاط بهينه محلي متوقف شده و آموزش نمي‌بيند. براي جبران اشكال‌هاي وارد به الگوريتم بازگشتي، جهت بالا بردن سرعت آموزش از نرخ يادگيري متغير تطبيقي و براي جلوگيري از به دام افتادن شبكه در نقاط بهينه محلي از روش الگوريتم اتوماتان استفاده مي‌نماييم. با استفاده از اين روش‌ها مي‌توان نرخ يادگيري بهينه براي شبكه‌هاي مختلف به دست آورد.

Multilayer Bach propagation neural networks have been considered by researchers. Despite their outstanding success in managing contact between input and output, they have had several drawbacks. For example the time needed for the training of these neural networks is long, and some times not to be teachable. The reason For this long time of teaching is due to the selection unsuitable network parameters. The method For Obtaining the network parameters Of bias and weight is using is using gradient network energy function. As we Know, network error Function is of a not flat level, So the network is stopped at some optimum local points and we have no instruction at this points. To compensate for returned algorithm drawbacks, we use adaptive variable learning rate to enhance learning rate and in order to avoiding our network trapping in local points we used automata algorithm. By using this method it is possible to obtain improved learning rate For different net works.