يك الگوريتم تكراري براي حل مسايل كنترل بهينه تصادفي با استفاده از زنجير ماركوف

در اين مقاله، يك روش عددي براي حل مساله كنترل بهينه تصادفي با استفاده از زنجيرهاي ماركوف ارائه شدهاست. بدين ترتيب كه، ابتدا فرايند پخش كنترلي وضعيت سيستم با استفاده از يك زنجير ماركوف كنترلي روي يك فضاي وضعيت متناهي تقريب زده ميشود. سپس تقريبي از تابع هزينه اوليه با استفاده از اين زنجير ماركوف تقريبي، بهدست ميآيد. براي اثبات همگرايي روش و يافتن يك زنجير ماركوف تقريبي مناسب براي فرايند پخش، بايد دو معيار مورد بررسي قرار گيرد. به عبارتي بايد اميد رياضي و كوواريانس شرطي تغييرات وضعيت زنجير ماركوف با ميانگين و كوواريانس موضعي فرايند پخش اوليه متناسب باشند. با استفاده از تقريبات تفاضلات متناهي ميتوان احتمالات انتقال و بازههاي زماني تغيير وضعيت زنجير ماركوف را به گونهاي تعيين كرد كه زنجير ماركوف در دو ويژگي سازگاري موضعي فوق صدق كند. در ادامه معادله برنامهريزي پويا با زنجير ماركوفي كه بدين ترتيب بهدست آمده و داراي اين ويژگيهاي ميباشد، تقريب زده ميشود. نهايتاً، با ميل دادن پارامتر گسسته سازي زنجير ماركوف به صفر، مشاهده ميشود كه جواب مسئله كنترل تصادفي تقريبي زنجير ماركوف، به جواب مسئله كنترل بهينه تصادفي اوليه همگرا ميباشد. در پايان يك الگوريتم تكراري براي حل مساله كنترل بهينه تصادفي پيشنهاد شده و از آن براي حل يك مثال استفاده شده است.