ترجمه فارسی مقاله کاوش کارآمد در یادگیری تقویتی عمیق: الگوریتم بدیع بازیگر-نقد بیزی

چکیده

Reinforcement learning (RL) and Deep Reinforcement Learning (DRL), in particular, have the potential to disrupt and are already changing the way we interact with the world. One of the key indicators of their applicability is their ability to scale and work in real-world scenarios, that is in large-scale problems. This scale can be achieved via a combination of factors, the algorithm’s ability to make use of large amounts of data and computational resources and the efficient exploration of the environment for viable solutions (i.e. policies). In this work, we investigate and motivate some theoretical foundations for deep reinforcement learning. We start with exact dynamic programming and work our way up to stochastic approximations and stochastic approximations for a model-free scenario, which forms the theoretical basis of modern reinforcement learning. We present an overview of this highly varied and rapidly changing field from the perspective of Approximate Dynamic Programming. We then focus our study on the short-comings with respect to exploration of the cornerstone approaches (i.e. DQN, DDQN, A2C) in deep reinforcement learning. On the theory side, our main contribution is the proposal of a novel Bayesian actor-critic algorithm. On the empirical side, we evaluate Bayesian exploration as well as actor-critic algorithms on standard benchmarks as well as state-of-the-art evaluation suites and show the benefits of both of these approaches over current state-of-the-art deep RL methods. We release all the implementations and provide a full python library that is easy to install and hopefully will serve the reinforcement learning community in a meaningful way, and provide a strong foundation for future work.

چکیده به فارسی (ترجمه ماشینی)

یادگیری تقویت (RL) و یادگیری تقویت عمیق (DRL) ، به ویژه ، پتانسیل ایجاد اختلال در آن را دارند و در حال حاضر نحوه تعامل ما با جهان را تغییر می دهند.یکی از شاخص های اصلی کاربرد آنها ، توانایی آنها در مقیاس و کار در سناریوهای دنیای واقعی است که در مشکلات در مقیاس بزرگ است.این مقیاس می تواند از طریق ترکیبی از عوامل ، توانایی الگوریتم در استفاده از مقادیر زیادی از داده ها و منابع محاسباتی و اکتشاف کارآمد محیط برای راه حل های مناسب (یعنی سیاست ها) حاصل شود.در این کار ، ما برخی از مبانی نظری را برای یادگیری تقویت عمیق بررسی و ایجاد می کنیم.ما با برنامه نویسی دقیق پویا شروع می کنیم و راه خود را به سمت تقریب های تصادفی و تقریب های تصادفی برای یک سناریوی عاری از مدل ، که مبنای نظری یادگیری تقویت مدرن را تشکیل می دهد ، انجام می دهیم.ما یک نمای کلی از این زمینه بسیار متنوع و به سرعت در حال تغییر از منظر برنامه نویسی پویا تقریبی ارائه می دهیم.ما سپس مطالعه خود را بر روی کوتاه مدت با توجه به اکتشاف رویکردهای سنگ بنای (یعنی DQN ، DDQN ، A2C) در یادگیری تقویت عمیق متمرکز می کنیم.از طرف نظریه ، سهم اصلی ما پیشنهاد الگوریتم جدید بازیگر بیزی بازیگر بیزی است.از طرف تجربی ، ما اکتشافات بیزی و همچنین الگوریتم های بازیگر-انتقادی را در معیارهای استاندارد و همچنین مجموعه های ارزیابی پیشرفته ارزیابی می کنیم و مزایای هر دو این رویکردها را نسبت به عمیق ترین دوره های فعلی نشان می دهیمروشهای RL.ما تمام پیاده سازی ها را منتشر می کنیم و یک کتابخانه کامل پایتون را ارائه می دهیم که نصب آن آسان است و امیدوارم به روشی معنی دار در جامعه یادگیری تقویت کننده خدمت کند و پایه و اساس محکمی برای کارهای آینده فراهم کند.