ترجمه فارسی مقاله اعتبار سنجی دنیای واقعی یادگیری تقویتی ایمن، مدل کنترل پیش بینی و تصمیم گیری سیستم های مدیریت انرژی خانه مبتنی بر درخت

چکیده

Recent advancements in machine learning based energy management approaches, specifically reinforcement learning with a safety layer (OptLayerPolicy) and a metaheuristic algorithm generating a decision tree control policy (TreeC), have shown promise. However, their effectiveness has only been demonstrated in computer simulations. This paper presents the real-world validation of these methods, comparing against model predictive control and simple rule-based control benchmark. The experiments were conducted on the electrical installation of 4 reproductions of residential houses, which all have their own battery, photovoltaic and dynamic load system emulating a non-controllable electrical load and a controllable electric vehicle charger. The results show that the simple rules, TreeC, and model predictive control-based methods achieved similar costs, with a difference of only 0.6%. The reinforcement learning based method, still in its training phase, obtained a cost 25.5\% higher to the other methods. Additional simulations show that the costs can be further reduced by using a more representative training dataset for TreeC and addressing errors in the model predictive control implementation caused by its reliance on accurate data from various sources. The OptLayerPolicy safety layer allows safe online training of a reinforcement learning agent in the real-world, given an accurate constraint function formulation. The proposed safety layer method remains error-prone, nonetheless, it is found beneficial for all investigated methods. The TreeC method, which does require building a realistic simulation for training, exhibits the safest operational performance, exceeding the grid limit by only 27.1 Wh compared to 593.9 Wh for reinforcement learning.

چکیده به فارسی (ترجمه ماشینی)

پیشرفت های اخیر در رویکردهای مدیریت انرژی مبتنی بر یادگیری ماشین ، به طور خاص یادگیری تقویت شده با یک لایه ایمنی (OptLayerPolicy) و یک الگوریتم متهوریستی که یک سیاست کنترل درخت تصمیم گیری (TREEC) ایجاد می کند ، نوید را نشان داده اند.با این حال ، اثربخشی آنها فقط در شبیه سازی های رایانه ای نشان داده شده است.در این مقاله اعتبارسنجی در دنیای واقعی این روشها ارائه شده است ، و در مقایسه با کنترل پیش بینی مدل و معیار کنترل مبتنی بر قانون ساده است.این آزمایشات بر روی نصب الکتریکی 4 تولید مثل خانه های مسکونی انجام شد که همگی دارای باتری ، فتوولتائیک و سیستم بار پویا هستند که یک بار الکتریکی غیر قابل کنترل و یک شارژر وسیله نقلیه الکتریکی قابل کنترل را تقلید می کند.نتایج نشان می دهد که قوانین ساده ، TREEC و روشهای مبتنی بر کنترل مدل پیش بینی کننده هزینه های مشابهی را به دست آوردند ، با تفاوت تنها 0.6 ٪.روش مبتنی بر یادگیری تقویت ، هنوز در مرحله آموزش خود ، هزینه 25.5 \ ٪ بالاتر از سایر روش ها را بدست آورد.شبیه سازی های اضافی نشان می دهد که با استفاده از یک مجموعه داده آموزش نماینده تر برای TREEC و پرداختن به خطاها در اجرای کنترل کنترل پیش بینی شده ناشی از اتکا به داده های دقیق از منابع مختلف ، می توان هزینه ها را بیشتر کاهش داد.لایه ایمنی OptLayerPolicy با توجه به یک فرمول عملکرد محدودیت دقیق ، آموزش آنلاین ایمن از یک عامل یادگیری تقویت را در دنیای واقعی امکان پذیر می کند.روش لایه ایمنی پیشنهادی مستعد خطا باقی مانده است ، با این وجود برای همه روشهای مورد بررسی مفید است.روش TREEC ، که نیاز به ایجاد یک شبیه سازی واقع بینانه برای آموزش دارد ، ایمن ترین عملکرد عملیاتی را نشان می دهد ، و بیش از حد شبکه تنها 27.1 WH در مقایسه با 593.9 WH برای یادگیری تقویت کننده است.