توسعه يادگيري تقويتي پيوسته در مسائل مكاني توزيع يافته (مورد مطالعاتي: كنترل هوشمند چراغ هاي راهنمايي)

سامانه هاي چند عامله به عنوان شاخه اي از هوش مصنوعي در سال هاي اخير به عنوان يك نگرش براي مطالعه، بررسي و تحليل پديده هايي كه داراي خصوصياتي همچون توزيع يافتگي، پيچيدگي، پايين به بالا بودن و پويايي هستند در زمينه هاي مختلف از جمله ترافيك، حمل و نقل، اقتصاد، محيط زيست و مواردي از اين دست به طور گسترده بكار گرفته شده اند. چالش اصلي در سامانه هاي چند عامله بدست آوردن رفتار مناسب براي تك تك عامل ها براي رسيدن به رفتار سطح بالاي بهينه براي كل سامانه است. يادگيري تقويتي به عنوان رويكردي مناسب كه به صورت خودكار و تدريجي مي تواند رفتار بهينه را براي تمام عامل ها در تعامل با محيط بدست آورد،براي حل اين چالش مناسب است. در يادگيري تقويتي عامل ها در طول زمان از طريق تعامل با محيط ياد ميگيرند كه در شرايط (حالات) مختلف چه اعمالي را انجام دهند كه منجر به دريافت بيشترين سود شود. روش هاي رايج يادگيري تقويتي در مسائل دنياي واقعي كه داراي تعداد حالات محيط بسيار بالا يا بي نهايت هستند عملكرد مناسبي ندارند زيرا اين روش ها مقداري مجزا را براي ارزش هر زوج حالتعمل در حافظه اختصاص مي دهند وعامل براي بدست آوردن مقدار دقيق ارزش هر زوج حالتعمل نياز دارد كه به دفعات ارزش آنها را مشاهده نمايد. نوآوري تحقيق حاضر،حل چالش فوق از طريق يادگيري تقويتي پيوسته در مسائل مكاني با فضاي حالتعمل بزرگ و پيوسته است. در رويكرد يادگيري تقويتي پيوسته از مفهوم تعميم براي تخمين ارزش حالتعمل استفاده مي شود. در اين روش عامل نيازي به تجربه اندوزي مستقيم در تمام حالات محيط را ندارد و ارزش يك حالت با شباهت سنجي از ارزش ساير حالات مشابه، تخمين زده مي شود. اين روش ها براي شباهت سنجي نياز به كد گذاري حالات محيط دارند كه در اين تحقيق ناحيه بندي فضا كه داراي حجم محاسباتي پاييني است مورد استفاده قرار گرفت. در اين تحقيق كنترل ترافيك (به طور خاص مديريت چراغ هاي راهنمايي) كه داراي پويايي و پيچيدگي بالايي است به عنوان مورد مطالعاتي مطلوب انتخاب شد.