ترجمه فارسی مقاله ادغام یادگیری تقویت و کنترل پیش بینی مدل با برنامه های کاربردی به میکروگریدها

چکیده

This work proposes an approach that integrates reinforcement learning and model predictive control (MPC) to efficiently solve finite-horizon optimal control problems in mixed-logical dynamical systems. Optimization-based control of such systems with discrete and continuous decision variables entails the online solution of mixed-integer quadratic or linear programs, which suffer from the curse of dimensionality. Our approach aims at mitigating this issue by effectively decoupling the decision on the discrete variables and the decision on the continuous variables. Moreover, to mitigate the combinatorial growth in the number of possible actions due to the prediction horizon, we conceive the definition of decoupled Q-functions to make the learning problem more tractable. The use of reinforcement learning reduces the online optimization problem of the MPC controller from a mixed-integer linear (quadratic) program to a linear (quadratic) program, greatly reducing the computational time. Simulation experiments for a microgrid, based on real-world data, demonstrate that the proposed method significantly reduces the online computation time of the MPC approach and that it generates policies with small optimality gaps and high feasibility rates.

چکیده به فارسی (ترجمه ماشینی)

این کار رویکردی را ارائه می دهد که یادگیری تقویت کننده و کنترل پیش بینی مدل (MPC) را برای حل کارآمد مشکلات کنترل بهینه-افق محدود در سیستم های دینامیکی مخلوط.کنترل مبتنی بر بهینه سازی چنین سیستم هایی با متغیرهای تصمیم گیری گسسته و مداوم مستلزم راه حل آنلاین برنامه های درجه دوم یا خطی مختلط است که از نفرین ابعاد رنج می برند.رویکرد ما با هدف از بین بردن این مسئله با جداشدن موثر تصمیم در مورد متغیرهای گسسته و تصمیم در مورد متغیرهای مداوم انجام می شود.علاوه بر این ، برای کاهش رشد ترکیبی در تعداد اقدامات احتمالی به دلیل افق پیش بینی ، ما تعریف عملکرد Q جداشونده را تصور می کنیم تا مشکل یادگیری قابل ردیابی تر شود.استفاده از یادگیری تقویت کننده ، مشکل بهینه سازی آنلاین کنترل کننده MPC را از یک برنامه خطی (درجه دوم) مخلوط (درجه دوم) به یک برنامه خطی (درجه دوم) کاهش می دهد و زمان محاسباتی را بسیار کاهش می دهد.آزمایش های شبیه سازی برای یک میکروگرید ، بر اساس داده های دنیای واقعی ، نشان می دهد که روش پیشنهادی زمان محاسبه آنلاین رویکرد MPC را به میزان قابل توجهی کاهش می دهد و این باعث می شود سیاست هایی با شکاف های بهینه کوچک و نرخ امکان سنجی بالا ایجاد کند.