همزمان سازي بهينه برخط سيستم هاي چندعاملي غير خطي با ديناميك هاي نامعلوم

Online Optimal Synchronization of Nonlinear Multi-agent Systems under Unknown Dynamics

در اين مقاله، الگوريتم بهينه توزيع شده تطبيقي برخط براي همزمان سازي عامل هاي غيرخطي يك سيستم چند عاملي با ديناميك هاي نامعلوم به عامل رهبر بر اساس تكنيك هاي برنامه ريزي پوياي تقريبي و شناساگرهاي شبكه هاي عصبي ارايه شده است. الگوريتم پيشنهاد شده به يادگيري حل برخط معادلات هميلتون - جاكوبي تزويج شده[1] (CHJ) تحت ديناميك هاي نامعلوم پرداخته است. هر عامل جهت يادگيري سياست بهينه محلي از ساختار عمل گر - نقاد بهره برده و ديناميك نامعلوم هر عامل نيز با به كارگيري يك تقريب گر شبكه عصبي، تقريب زده شده است. شناسايي ديناميك هاي نامعلوم با استفاده از قانون تكرار تجربيات انجام شده است به طوري كه از اطلاعات ثبت شده به همراه داده هاي لحظه اي براي انطباق وزن هاي شبكه عصبي شناساگر ديناميك عامل ها، استفاده شده است. در حالي كه وزن هاي تقريب گرهاي ديناميك و شبكه هاي عملگر - نقاد به صورت همزمان در حال انطباق هستند، كرانداري تمامي سيگنال هاي حلقه بسته توسط تئوري لياپانوف تضمين شده است. در انتها صحت الگوريتم پيشنهاد شده با ذكر نتايج شبيه سازي، نشان داده شده است.

In this paper an online optimal distributed algorithm is introduced for multi-agent systems synchronization under unknown dynamics based on approximate dynamic programming and neural networks. Every agent has employed an actor-critic structure to learn its distributed optimal policy and the unknown dynamics of every agent is identified by employing a neural network approximator. The unknown dynamics are identified based on the experience replay technique where the recorded data and current data are used to adopt the approximators weights. The introduced algorithm learns the solution of coupled Hamilton-Jacobi equations under unknown dynamics in an online fashion. While the weights of the identifiers and actor-critic approximators are being tuned, the boundedness of the closed loop system signals are assured using Lyapunov theory. The effectiveness of the proposed algorithm is shown through the simulation results.