كاربرد يادگيري تقويتي در جهت يابي حركت سرپنتين ربات مارمانند

Application of Reinforcement Learning for Navigation of a Planar Snake Robot in Serpentine Locomotion

هدف اين مقاله هدايت و كنترل ربات مارمانند با استفاده از يادگيري تقويتي (Reinforcement learning) مي باشد. اين مقاله به مدل‌سازي و شبيه سازي ربات مارمانند مي‌‌پردازد و سپس نتايج آن را روي ربات واقعي پياده‌سازي مي‌نمايد. در ابتدا معادلات ديناميك يك ربات مارمانند با n عضو (Link) در حركت سرپنتين (Serpentine Locomotion) با استفاده از روش گيبس-اپل (Gibbs-Appell) به‌صورت ساده، جامع و كارآمد به‌دست آمده است. روش ارايه شده در اين مطالعه حجم محاسبات براي ديناميك ربات مارمانند را تا حد قابل توجهي نسبت به‌كارهاي پيشين كاهش مي دهد. سپس مدل فيزيكي ربات در نرم‌افزار سيم مكانيك (SimMechanics) مدل‌سازي گشته و از آن براي تاييد معادلات ديناميك استفاده شده است. در اين مقاله از يادگيري Q (Q learning) براي آموزش ربات مارمانند و جهت يابي آن استفاده شده است. هم‌چنين تاثير پارامترهاي منحني سرپنويد و منحني بدن مار روي سرعت يادگيري بررسي شده است. نتايج نشان مي‌دهند پارامترهاي فيزيكي كه شكل ربات مار را تغيير نمي دهند، بر روي يادگيري ربات تاثير محسوسي نمي گذارند. در انتها، نرم‌افزار شبيه‌سازي وباتس و ربات مارمانند FUM-Snake II براي تصديق نتايج حاصل از يادگيري به‌كار گرفته شده است. نتايج به‌دست آمده از ربات آزمايشگاهي نشان مي دهد كه مسير حركت اين ربات پس از يادگيري به روش Q، با مسير پيش‌بيني شده توسط حل‌ ديناميكي پيشنهادي و نتايج شبيه‌سازي در نرم‌افزار وباتس همگي داراي مطابقت خوبي مي باشند.

This article presents an implementation of a reinforcement learning (RL) method for a snake like robot navigation. The paper starts with developing kinematics and dynamics model of a snake robot in serpentine locomotion followed by performing simulation and finishes with actual experimentation. First, Gibbs-Appellʹs method is used to obtain the robot dynamics. The robot is also modeled in SimMechanics toolbox of MATLAB software which is then used to verify the derived dynamics equations. In this study, for the first time, Q-learning method is employed to obtain the optimal state and actions. Effects of serpenoid curve and body curve parameters on the snake robot learning ability are also investigated. Results indicate that parameters which do not affect body shape of the snake robot, also do not affect the learning ability. Finally, the experimental FUM-Snake II as well as webots software are both employed to validate theoretical results. Results show that the Q-learning method is an effective method for navigation of snake like robot.