مديريت مصرف انرژي خانگي با استفاده از يادگيري تقويتي چندعاملي

Home Energy Management Using Multi-Agent Reinforcement Learning

افزايش مصرف انرژي الكتريكي، مسئله‌اي است كه همواره به‌عنوان يكي از چالش‌هاي تأمين‌كنندگان برق مطرح بوده است. به‌دنبال افزايش مصرف، برنامه‌هاي پاسخ‌گويي بار كه سعي در مديريت مصرف انرژي با اهدافي نظيركاهش هزينه‌ها و افزايش قابليت اطمينان دارند، بيش از پيش مورد توجه قرار گرفته‌اند. از طرفي هوشمندسازي مصرف‌كنندگان، امكان بهره‌گيري هرچه بيشتر از هوش مصنوعي براي مديريت انرژي را ميسر ساخته است. اين مقاله روشي براي مديريت مصرف انرژي خانگي با هدف كمينه كردن قبض برق و نارضايتي مشترك ارائه مي‌دهد. با تفكيك بارهاي خانه به سه دسته بار‌هاي غيرقابل كنترل، قابل جابه‌جايي و قابل كنترل، يادگيري تقويتي چندعاملي با الگوريتم Q-Learning راهكاري است كه در اين مقاله براي اتخاذ تصميمات بهينه دربارۀ هريك از وسايل خانه در نظر گرفته شده است. به‌دليل ماهيت الگوريتم Q-Learning، روش پيشنهادي در اين مقاله برخلاف روش‌هاي برنامه‌ريزي عدد صحيح امكان افزودن وسايل بيشتري از خانه و حل مسئله‌هاي پيچيده‌تري را داراست. پياده‌سازي روش پيشنهادي اين مقاله در بخش مطالعۀ عددي منجر به كاهش قبض برق مشترك تا 8/24% گرديد. همچنين، نتايج حاصل از اعمال روش ارائه‌شده حاكي از صحت عملكرد آن است.

An increase in electricity consumption has always been challenging for utilities. Due to increasing demands for electricity, the demand response strategies, aiming at energy management to achieve goals such as demand reduction and reliability enhancement have received much attention. Furthermore, taking advantage of artificial intelligence for energy management would be feasible through smartening customers. This paper proposes a method for home energy management to minimize electricity bills and the user’s discomfort. In this paper, multi-agent reinforcement learning via Q-Learning is utilized to make optimal decisions for home appliances, which are categorized into non-shiftable loads, shiftable loads, and controllable loads. Comparing to integer programming approaches, the proposed method is capable of modeling more appliances and solving complex problems due to the innate nature of the Q-Learning algorithm. Implementing the proposed method in the numerical study section led to a 24.8% electricity bill reduction. The numerical results prove the effectiveness of the proposed approach.