ترجمه فارسی مقاله Meta Sac-Lag: به سمت یادگیری تقویت ایمن قابل استفاده از طریق تنظیم Hyperparameter مبتنی بر متاگرافی

چکیده

Safe Reinforcement Learning (Safe RL) is one of the prevalently studied subcategories of trial-and-error-based methods with the intention to be deployed on real-world systems. In safe RL, the goal is to maximize reward performance while minimizing constraints, often achieved by setting bounds on constraint functions and utilizing the Lagrangian method. However, deploying Lagrangian-based safe RL in real-world scenarios is challenging due to the necessity of threshold fine-tuning, as imprecise adjustments may lead to suboptimal policy convergence. To mitigate this challenge, we propose a unified Lagrangian-based model-free architecture called Meta Soft Actor-Critic Lagrangian (Meta SAC-Lag). Meta SAC-Lag uses meta-gradient optimization to automatically update the safety-related hyperparameters. The proposed method is designed to address safe exploration and threshold adjustment with minimal hyperparameter tuning requirement. In our pipeline, the inner parameters are updated through the conventional formulation and the hyperparameters are adjusted using the meta-objectives which are defined based on the updated parameters. Our results show that the agent can reliably adjust the safety performance due to the relatively fast convergence rate of the safety threshold. We evaluate the performance of Meta SAC-Lag in five simulated environments against Lagrangian baselines, and the results demonstrate its capability to create synergy between parameters, yielding better or competitive results. Furthermore, we conduct a real-world experiment involving a robotic arm tasked with pouring coffee into a cup without spillage. Meta SAC-Lag is successfully trained to execute the task, while minimizing effort constraints.

چکیده به فارسی (ترجمه ماشینی)

یادگیری تقویت کننده ایمن (RL ایمن) یکی از زیر شاخه های شیوع مورد مطالعه روشهای محاکمه و خطا است که قصد دارد در سیستم های دنیای واقعی مستقر شود.در RL ایمن ، هدف این است که ضمن به حداقل رساندن محدودیت ها ، عملکرد پاداش را به حداکثر برساند ، که اغلب با تعیین مرزها بر عملکردهای محدودیت و استفاده از روش Lagrangian حاصل می شود.با این حال ، استفاده از RL ایمن مبتنی بر لاگرانژی در سناریوهای دنیای واقعی به دلیل ضرورت تنظیم دقیق آستانه چالش برانگیز است ، زیرا تنظیمات نادرست ممکن است منجر به همگرایی سیاست های زیر حد متوسط ​​شود.برای کاهش این چالش ، ما یک معماری یکپارچه بدون مدل مبتنی بر Lagrangian به نام Meta Soft بازیگر-انتقادی Lagrangian (Meta Sac-Lag) پیشنهاد می کنیم.متا ساک-لاگ از بهینه سازی متا برای به روزرسانی هایپرپارامترهای مرتبط با ایمنی استفاده می کند.روش پیشنهادی برای پرداختن به اکتشاف ایمن و تنظیم آستانه با حداقل نیاز تنظیم بیش از حد hyperparameter طراحی شده است.در خط لوله ما ، پارامترهای داخلی از طریق فرمولاسیون معمولی به روز می شوند و Hyperparameters با استفاده از متا اوباتورها که بر اساس پارامترهای به روز شده تعریف می شوند ، تنظیم می شوند.نتایج ما نشان می دهد که عامل به دلیل میزان همگرایی نسبتاً سریع آستانه ایمنی می تواند عملکرد ایمنی را با اطمینان تنظیم کند.ما عملکرد متا SAC-LAG را در پنج محیط شبیه سازی شده در برابر خطوط پایه لاگرانژی ارزیابی می کنیم ، و نتایج نشان می دهد توانایی آن در ایجاد هم افزایی بین پارامترها ، به دست آوردن نتایج بهتر یا رقابتی است.علاوه بر این ، ما یک آزمایش در دنیای واقعی را انجام می دهیم که شامل یک بازوی روباتیک است که وظیفه دارد قهوه را بدون ریختن یک فنجان بریزد.متا ساک-لاگ با موفقیت در اجرای کار آموزش داده می شود ، ضمن اینکه محدودیت های تلاش را به حداقل می رساند.