ترجمه فارسی مقاله یادگیری تقویت ایمن مبتنی بر نمونه گیری برای سیستم های دینامیکی غیرخطی

چکیده

We develop provably safe and convergent reinforcement learning (RL) algorithms for control of nonlinear dynamical systems, bridging the gap between the hard safety guarantees of control theory and the convergence guarantees of RL theory. Recent advances at the intersection of control and RL follow a two-stage, safety filter approach to enforcing hard safety constraints: model-free RL is used to learn a potentially unsafe controller, whose actions are projected onto safe sets prescribed, for example, by a control barrier function. Though safe, such approaches lose any convergence guarantees enjoyed by the underlying RL methods. In this paper, we develop a single-stage, sampling-based approach to hard constraint satisfaction that learns RL controllers enjoying classical convergence guarantees while satisfying hard safety constraints throughout training and deployment. We validate the efficacy of our approach in simulation, including safe control of a quadcopter in a challenging obstacle avoidance problem, and demonstrate that it outperforms existing benchmarks.

چکیده به فارسی (ترجمه ماشینی)

ما الگوریتم های یادگیری تقویت کننده ایمن و همگرا (RL) برای کنترل سیستم های دینامیکی غیرخطی ، ایجاد شکاف بین ضمانت های ایمنی سخت نظریه کنترل و ضمانت همگرایی نظریه RL را توسعه می دهیم.پیشرفت های اخیر در تقاطع کنترل و RL از رویکرد فیلتر دو مرحله ای برای اجرای محدودیت های ایمنی سخت پیروی می کند: RL بدون مدل برای یادگیری یک کنترلر بالقوه ناامن استفاده می شود ،یک عملکرد سد کنترل.گرچه بی خطر است ، چنین رویکردهایی هرگونه ضمانت همگرایی را که از روشهای اساسی RL برخوردار است ، از دست می دهند.در این مقاله ، ما یک رویکرد یک مرحله ای و مبتنی بر نمونه گیری از رضایت محدودیت سخت را توسعه می دهیم که کنترل کننده های RL را که از تضمین های همگرایی کلاسیک برخوردار هستند ، می آموزد ضمن اینکه محدودیت های ایمنی سخت را در طول آموزش و استقرار برآورده می کند.ما اثربخشی رویکرد خود را در شبیه سازی تأیید می کنیم ، از جمله کنترل ایمن یک کوادکوپتر در یک مشکل جلوگیری از مانع چالش برانگیز ، و نشان می دهیم که از معیارهای موجود بهتر است.