باورپذيري كاراكترهاي غيرقابل بازي حاصل از يادگيري تقويتي

Believability of Reinforcement Learning Non-Playable Characters

امروزه هوش مصنوعي به يكي از اجزاي جدانشدني بازي‌هاي ويدئويي تبديل‌شده است؛ به‌طوري‌كه حتي محبوبيت روزافزون بازي‌هاي بر خط چند‌نفره هم نتوانسته اين مؤلفه را از بازي‌ها حذف كند. از سوي ديگر، رفتار طبيعي كاراكترهاي غيرقابل بازي در افزايش حس غوطه‌وري كاربر بسيار حائز اهميت است. به همين دليل، يكي از دغدغه‌هاي اصلي تيم‌هاي توسعه‌دهنده بازي، طراحي هوش مصنوعي كاراكترهاي غيرقابل بازي با حداقل هزينه است. در اين مقاله، روشي مبتني بر يادگيري تقويتي براي طراحي هوش مصنوعي اين كاراكترها ارائه مي‌شود. اين روش در دو مرحله كار مي‌كند. در مرحله اول، يك عامل با حداكثر هوشمندي توسط الگوريتم يادگيري Q آموزش داده‌شده و در مرحله دوم با استفاده از استراتژي‌هاي مختلف، رفتارهاي عامل باورپذير مي‌شود. درنهايت عملكرد اين روش در مقايسه با عملكرد عامل اوليه و همچنين انسان مقايسه مي‌شود. براي اين منظور، در يك بازي ضربات آزاد فوتبال، عملكرد عامل پس از يادگيري با استفاده از 10000 ضربه با عملكرد ميانگين 100 بازيكن انسان مقايسه شد. نتايج نشان مي‌دهند كه استراتژي‌هاي ساده مي‌توانند رفتار عامل‌هاي هوشمند را باورپذير كنند و درعين‌حال انعطاف‌پذيري بالاي آن‌ها اجازه مي‌دهد كه بتوان ميزان هوشمندي كاراكتر غيرقابل بازي در بازي ضربات آزاد فوتبال را از %20 تا 200% سطح عملكرد انسان تنظيم كرد.

Nowadays artificial intelligence (AI) has become an inseparable component of video games; such that even the increasing popularity of online multiplayer games has not been able to remove AI from games. Furthremore, natual movement of non-playable character is very important for increasing the player immersion. Thus, one of the main concerns of game development teams is to design and implement AI of non-playable characters with minimum cost. In this paper, a method based on reinforcement learning for designing AI of non-playable characters is proposed. This method works in 2 steps. In the first step, an agent with maximal intelligence is trained using Q-learning algorithm. In the second step, agent’s behvior is made believable using various strategies. Finally, perforcemance of this method is evalauted and compared to human and initial agents. In evaluation step, a football free kick game was used and performance of intelligent agent after learning using 10000 kicks was compared with average performance of 100 human agents. Results show that simple strategies suffice to make the intelligent agent a believable one and their high flexibility enables us to adjust the intelligence level of non-playable characters from 20% to 200% of human level in the football free kick game.