ترجمه فارسی مقاله RVI-SAC: میانگین پاداش خارج از سیاست یادگیری تقویتی عمیق

چکیده

In this paper, we propose an off-policy deep reinforcement learning (DRL) method utilizing the average reward criterion. While most existing DRL methods employ the discounted reward criterion, this can potentially lead to a discrepancy between the training objective and performance metrics in continuing tasks, making the average reward criterion a recommended alternative. We introduce RVI-SAC, an extension of the state-of-the-art off-policy DRL method, Soft Actor-Critic (SAC), to the average reward criterion. Our proposal consists of (1) Critic updates based on RVI Q-learning, (2) Actor updates introduced by the average reward soft policy improvement theorem, and (3) automatic adjustment of Reset Cost enabling the average reward reinforcement learning to be applied to tasks with termination. We apply our method to the Gymnasium’s Mujoco tasks, a subset of locomotion tasks, and demonstrate that RVI-SAC shows competitive performance compared to existing methods.

چکیده به فارسی (ترجمه ماشینی)

در این مقاله ، ما یک روش یادگیری تقویت کننده عمیق (DRL) خارج از سیاست را با استفاده از معیار پاداش متوسط ​​پیشنهاد می کنیم.در حالی که بیشتر روشهای DRL موجود از معیار پاداش تخفیف استفاده می کنند ، این به طور بالقوه می تواند منجر به اختلاف بین هدف آموزش و معیارهای عملکرد در ادامه کار شود ، و این معیار متوسط ​​پاداش را به یک جایگزین توصیه شده تبدیل می کند.ما RVI-SAC را ، گسترش روش پیشرفته DRL خارج از سیاست ، بازیگر نرم-انتقادی (SAC) ، به میانگین معیار پاداش معرفی می کنیم.پیشنهاد ما شامل (1) به روزرسانی های منتقد مبتنی بر یادگیری RVI Q ، (2) به روزرسانی های بازیگر معرفی شده توسط میانگین قضیه بهبود سیاست نرم پاداش ، و (3) تنظیم خودکار هزینه تنظیم مجدد می تواند میانگین یادگیری تقویت پاداش را برای اعمال استفاده کندوظایف با خاتمه.ما روش خود را در وظایف Mujoco Gymnasium ، زیر مجموعه ای از کارهای حرکتی اعمال می کنیم و نشان می دهیم که RVI-SAC عملکرد رقابتی را در مقایسه با روش های موجود نشان می دهد.