همكاري در سيستمهاي چند عامله با استفاده از اتوماتاهاي يادگير

عاملها موجودات نرمافزاري هستند كه بطور پيوسته و خود مختار در يك محيط كه براي آن طراحي شده اند كار ميكنند. براي عاملها نيازهايي از قبيل واكنشي بودن نسبت به كنشهاي محيطي، خود مختاري در انتخاب مسير و ادامه آن، قابليت تطبيق و يادگيري و ... ضروري به نظر ميرسد. امروزه مطالعه سيستمهاي مبتني بر عاملها به يك موضوع مهم آكادميك تبديل شده است كه كاربردهاي تجاري و صنعتي فراواني را نيز دربر دارد. در سيستمهاي چندعامله، چندين عامل هوشمند با قابليت برقراري ارتباط با يكديگر، جهت رسيدن به مجموعهاي از اهداف، با هم همكاري ميكنند. بدليل پيچيدگيهاي موجود در محيطهاي چندعامله پويا و متغير نياز به روشهاي يادگيري ماشين در چنين محيطهايي احساس ميشود. اتوماتاي يادگير يك مدل انتزاعي است كه تعداد محدودي عمل را ميتواند انجام دهد. هر عمل انتخاب شده توسط محيطي احتمالي ارزيابي ميگردد و پاسخي به اتوماتاي يادگير داده ميشود. اتوماتاي يادگير از اين پاسخ استفاده نموده و عمل خود براي مرحله بعد را انتخاب ميكند. در اين مقاله با استفاده از بستر تست شبيه سازي فوتبال روباتها به بررسي كارآيي اتوماتاي يادگير در همكاري بين عاملهاي عضو يك تيم پرداخته شده است. بدليل وجود تعداد حالات بسيار زياد در دامنه هاي چندعامله پيچيده، داشتن روشي براي عمومي سازي حالات محيطي، امري ضروري است چرا كه انتخاب مناسب چنين روشي، در تعيين حالات و اعمال عامل نقشي تعيين كننده دارد. در اين مقاله همچنين به معرفي و پياده سازي تكنيك "بهترين گوشه در مربع حالت" پرداخته شده است. با استفاده از اين روش فضاي حالات پيوسته و بسيار وسيع عامل به فضاي حالات گسسته و محدود نگاشته ميشود. كارآيي اين تكنيك در عمومي سازي حالات محيطي در يك دامنه چند عامله همكاري گرا مورد بررسي قرار گرفته است.