كنترل ترافيك يك چهارراه راهنمايي رانندگي با استفاده از الگوريتم هاي يادگيري تقويتي (يادگيري-Q، سارسا و مسيرهاي شايستگي)

Traffic Signal Control of a Crossroad Using Reinforcement Learning Methods (Q-Learning, Sarsa, Eligibility Traces)

يكي از مهمترين اهداف پژوهش در حوزه حمل و نقل، بهينه كردن جريان هاي ترافيك است. امروزه با افزايش وسايل نقليه به طور پيوسته، محدوديت در منابع ارائه شده توسط زير ساخت هاي فعلي و ماهيت غيرخطي، پويا و تصادفي بودن جريان ترافيك، استفاده از روش هاي هوشمند در كنترل ترافيك به خصوص روش هاي حل مساله يادگيري تقويتي حائز اهميت است. روش يادگيري تقويتي علاوه بر سادگي و نداشتن پيچيدگي محاسباتي، در عمل بي نياز به مدل رياضي محيط مي باشد و خاصيت تطبيق پذيري با شرايط محيط و مقاوم بودن در برابر تغييرات محيطي را دارد. در اين مقاله كنترل ترافيك يك تقاطع با سه روش از زير روش هاي حل مساله يادگيري تقويتي (يادگيري-Q، سارسا و مسيرهاي شايستگي) انجام شده است. نتايج شبيه سازي حاكي از آن است كه مسيرهاي شايستگي يك روش كنترلي بروزتر و بهينه تر نسبت به دو روش يادگيري-Q و سارسا كه پيشتر در مقالات كنترل ترافيك مورد استفاده قرار گرفته است، مي باشد.

One of the most important goals of research in the field of transportation is optimizing of traffic flows. Today there are many problems in traffic flows such as continuous growth of vehicles, the limitation in the resources provided by the current infrastructure and the nonlinear, dynamic and random nature of the traffic flow. For solving this problem, use of intelligent methods in controlling the flows of traffic, especially the methods of reinforcement learning is investigated. In addition to simplicity and lack of computational complexity, the learning procedure is model free that is there is no need of a mathematical model. Other advantages of this method are the ability to adapt to environmental conditions and robustness to environmental changes. In this paper, traffic control of an intersection is carried out using three methods of reinforcement learning (Q-learning, SARSA, and Eligibility traces). Simulation results indicate that eligibility traces method is more efficient than the two other methods of Q-learning and Sarsa, which has been used previously in traffic control articles.