ترجمه فارسی مقاله تکانه توپ سنگین بازیگر- منتقد با عملکرد تقریبی

چکیده

By using an parametric value function to replace the Monte-Carlo rollouts for value estimation, the actor-critic (AC) algorithms can reduce the variance of stochastic policy gradient so that to improve the convergence rate. While existing works mainly focus on analyzing convergence rate of AC algorithms under Markovian noise, the impacts of momentum on AC algorithms remain largely unexplored. In this work, we first propose a heavy-ball momentum based advantage actor-critic (\mbox{HB-A2C}) algorithm by integrating the heavy-ball momentum into the critic recursion that is parameterized by a linear function. When the sample trajectory follows a Markov decision process, we quantitatively certify the acceleration capability of the proposed HB-A2C algorithm. Our theoretical results demonstrate that the proposed HB-A2C finds an $ε$-approximate stationary point with $\oo{ε^{-2}}$ iterations for reinforcement learning tasks with Markovian noise. Moreover, we also reveal the dependence of learning rates on the length of the sample trajectory. By carefully selecting the momentum factor of the critic recursion, the proposed HB-A2C can balance the errors introduced by the initialization and the stoschastic approximation.

چکیده به فارسی (ترجمه ماشینی)

با استفاده از یک تابع مقدار پارامتری برای جایگزینی روال های مونت-کارلو برای برآورد ارزش ، الگوریتم های بازیگر-انتقادی (AC) می توانند واریانس شیب سیاست تصادفی را کاهش دهند تا در جهت بهبود نرخ همگرایی.در حالی که کارهای موجود عمدتاً بر تجزیه و تحلیل میزان همگرایی الگوریتم های AC تحت نویز مارکوویان متمرکز است ، تأثیر حرکت بر الگوریتم های AC تا حد زیادی ناشناخته باقی مانده است.در این کار ، ما ابتدا با ادغام حرکت توپ سنگین در بازگشت انتقاد که توسط یک عملکرد خطی پارامتر می شود ، یک الگوریتم بازیگر نقدی (\ mbox {HB-A2C}) را پیشنهاد می کنیم.هنگامی که مسیر نمونه از یک فرآیند تصمیم گیری مارکوف پیروی می کند ، ما به صورت کمی توانایی شتاب الگوریتم HB-A2C پیشنهادی را تأیید می کنیم.نتایج نظری ما نشان می دهد که HB-A2C پیشنهادی یک نقطه ثابت and $ $ $ با $ \ oo {ε^{-2}}} $ تکرار برای کارهای یادگیری تقویت با سر و صدای مارکووی را پیدا می کند.علاوه بر این ، ما همچنین وابستگی نرخ یادگیری به طول مسیر نمونه را نشان می دهیم.با انتخاب دقیق عامل حرکت انتقاد از انتقاد ، HB-A2C پیشنهادی می تواند خطاهای معرفی شده توسط اولیه سازی و تقریب استوسستیک را متعادل کند.