راهكاركنترل مقاوم مبتني بر يادگيري تقويتي به منظور توانبخشي حركتي بازوي دست

A Robust Control Strategy Based on Reinforcement Learning Approach to Rehabilitat theArm Movement

توانبخشی حركتی از مباحث مورد توجه محققان است. در اينتحقيق، يك راهكار كنترلی به منظور كنترل حركت مدلی از بازوی دست با سه مفصل ارائه شده است. در مدل مورد استفاده، اثر فعالسازی همزمان عضلات آگونيست و آنتاگونيست مفصل مچ دست با استفاده از مكانيزم فريز سازی لحاظ شده است. با الهام از عملكرد سيستم اعصاب مركزی در كسب مهارتهای حركتی، راهكار كنترلی ارئه شده مبتنی بر يكی از الگوريتم های يادگيری تقويتی توسعه داده شده است. ابتدا كارايی كنترل كننده كلاسيك مبتنی بر يادگيری تقويتی به منظور كنترل حركت دست به سمت يك هدف مشخص، مورد ارزيابی قرار گرفت. نتايج نشان دادند كه چنين كنترل كننده ای نمی تواند حتی بازای پس چندين اپيزود پايداری سيستم را حفظ نمايد. در مرحله بعد به منظور بهبود وضعيت پايداری و همچنين كارايی كنترل كننده، تركيبی از كنترل كننده تناسبی-انتگرالی-مشتقی (PID) و كنترل كننده مبتنی بر يادگيری تقويتی ارائه و مورد ارزيابی قرار گرفت. كنترل كننده PID در كنار يادگيری تقويتی كارايی خوبی داشته است، اما به لحاظ تئوری تضمينی برای اثبات پايداری وجود ندارد. لذا به منظور بهبود شرايط پايداری سيستم كنترل، از تركيب كنترل كننده HTC و كنترل كننده PID همراه با كنترل كننده مبتنی بر راهكار يادگيری تقويتی استفاده شده است. به اين ترتيب پايداری سيستم كنترل حلقه بسته مبتنی تئوری لياپانوف تضمين شده است. نتايج نشان دادند كه كنترل كننده تركيبی با استفاده از HTC در برابر اغتشاش خارجی و تغييرات تصادفی پارامترهای سيستم، كارايی بسيار خوبی داشته است. پس از شبيه سازی-های كامپيوتری، به منظور ارزيابی كاملتر راهكار كنترلی پيشنهادی، آزمايش های انسانی طراحی و انجام شدند. در آزمايش های انسانی الگوی فعاليت عضلات مفاصل دست، طی عملكرد حركت دست با استفاده از سيگنال های الكترومايوگرام عضلات، استخراج شدند. نتايج نشان می دهند كه همزمانی قابل ملاحظه ای بين بازه زمانی مربوط به فعاليت و عدم فعاليت تغييرات سيگنال خروجی كنترل كننده در مطالعات شبيه سازی با الگوی فعاليت عضلات دست فرد سالم وجود دارد.

In this research, a control strategy has been presented to movement control of a three link model of human’s arm. The freezing mechanism has been used to consider the role of antagonistic coactivation of wrist muscles in the used three link model. Inspired by motor learning process of central nervous system, the presented control strategy has been designed based on the reinforcement learning algorithm. At first, the performance of a control methodology based on reinforcement learning was evaluated. The results show the instability of control system even after numbers of leaning episode. Then, a combination of a proportional derivative integral (PID) controller and a reinforcement learning based controller were utilizedtoimprove the stability conditions and performance of controller. Despite the good performance, there is no guarantee for stability of control system. So, to satisfy the stability conditions, a robust controller called HTC was added to thecombination of a PID controller and a reinforcement learning based controller. According to the simulation results, the combinational controller accompany by HTC had good performance even in presence of external disturbance, measurement noise and random changes of model parameters. For more assessments, the muscle activation profile of involved muscles during the arm movement of an intact subject was compared with control signals obtained through the simulation studies. The results show an interesting timing synchronization between the activation and deactivation timing of control signals and muscle activation profiles.