ترجمه فارسی مقاله هماهنگی برنامه‌ریزی و ردیابی در سیاست‌های کنترل لایه‌ای از طریق یادگیری بازیگر-منتقد

چکیده

We propose a reinforcement learning (RL)-based algorithm to jointly train (1) a trajectory planner and (2) a tracking controller in a layered control architecture. Our algorithm arises naturally from a rewrite of the underlying optimal control problem that lends itself to an actor-critic learning approach. By explicitly learning a textit{dual} network to coordinate the interaction between the planning and tracking layers, we demonstrate the ability to achieve an effective consensus between the two components, leading to an interpretable policy. We theoretically prove that our algorithm converges to the optimal dual network in the Linear Quadratic Regulator (LQR) setting and empirically validate its applicability to nonlinear systems through simulation experiments on a unicycle model.

چکیده به فارسی (ترجمه ماشینی)

ما یک الگوریتم مبتنی بر یادگیری تقویت (RL) را برای آموزش مشترک (1) یک برنامه ریز مسیر و (2) یک کنترلر ردیابی در یک معماری کنترل لایه ای پیشنهاد می کنیم.الگوریتم ما به طور طبیعی ناشی از بازنویسی از مسئله کنترل بهینه اساسی است که خود را به یک رویکرد یادگیری بازیگر-انتقادی می بخشد.با یادگیری صریح یک شبکه textit {dual} برای هماهنگی تعامل بین لایه های برنامه ریزی و ردیابی ، ما توانایی دستیابی به یک اجماع مؤثر بین دو مؤلفه را نشان می دهیم و منجر به یک سیاست تفسیر می شود.ما از لحاظ تئوریکی ثابت می کنیم که الگوریتم ما به شبکه دوتایی بهینه در تنظیم کننده خطی درجه دوم (LQR) همگرا می شود و از طریق آزمایش های شبیه سازی بر روی یک مدل تک چرخه ، کاربرد آن را در سیستم های غیرخطی تأیید می کند.