مقاله برنامه ریزی هوشمندانه مبتنی بر یادگیری Q عمیق EV ها برای پاسخ به تقاضا در شبکه های هوشمند

چکیده

Economic and policy factors are driving the continuous increase in the adoption and usage of electrical vehicles (EVs). However, despite being a cleaner alternative to combustion engine vehicles, EVs have negative impacts on the lifespan of microgrid equipment and energy balance due to increased power demand and the timing of their usage. In our view grid management should leverage on EVs scheduling flexibility to support local network balancing through active participation in demand response programs. In this paper, we propose a model-free solution, leveraging Deep Q-Learning to schedule the charging and discharging activities of EVs within a microgrid to align with a target energy profile provided by the distribution system operator. We adapted the Bellman Equation to assess the value of a state based on specific rewards for EV scheduling actions and used a neural network to estimate Q-values for available actions and the epsilon-greedy algorithm to balance exploitation and exploration to meet the target energy profile. The results are promising showing that the proposed solution can effectively schedule the EVs charging and discharging actions to align with the target profile with a Person coefficient of 0.99, handling effective EVs scheduling situations that involve dynamicity given by the e-mobility features, relying only on data with no knowledge of EVs and microgrid dynamics.

چکیده به فارسی (ترجمه ماشینی)

عوامل اقتصادی و سیاسی باعث افزایش مداوم فرزندخواندگی و استفاده از وسایل نقلیه برقی (EV) می شوند.با این حال ، علیرغم اینکه یک جایگزین پاک تر برای وسایل نقلیه موتور احتراق است ، EV ها به دلیل افزایش تقاضای برق و زمان استفاده از آنها ، تأثیر منفی بر طول عمر تجهیزات میکروگرید و تعادل انرژی دارند.از نظر ما ، مدیریت شبکه باید از انعطاف پذیری برنامه ریزی EVS برای پشتیبانی از تعادل شبکه محلی از طریق مشارکت فعال در برنامه های پاسخگویی تقاضا استفاده کند.در این مقاله ، ما یک راه حل بدون مدل را پیشنهاد می کنیم ، و از یادگیری عمیق Q استفاده می کنیم تا فعالیت های شارژ و تخلیه EV را در یک میکروگرید برنامه ریزی کنیم تا با مشخصات انرژی هدف ارائه شده توسط اپراتور سیستم توزیع تراز شود.ما معادله Bellman را برای ارزیابی ارزش یک حالت بر اساس پاداش های خاص برای اقدامات برنامه ریزی EV تطبیق دادیم و از یک شبکه عصبی برای تخمین مقادیر Q برای اقدامات موجود و الگوریتم Epsilon-Greedy برای تعادل بهره برداری و اکتشافات برای تحقق مشخصات انرژی هدف استفاده کردیم.بشرنتایج امیدوارکننده است که نشان می دهد راه حل پیشنهادی می تواند به طور مؤثر برنامه های شارژ و تخلیه EVS را برای هماهنگی با مشخصات هدف با ضریب شخص 0.99 ، انجام دهد ، و با استفاده از موقعیت های برنامه ریزی EVS مؤثر که شامل پویایی است که توسط ویژگی های تحرک الکترونیکی داده می شود ، فقط به تکیه برداده ها بدون دانش EVS و دینامیک میکروگرید.