ترجمه فارسی مقاله گسسته‌سازی فضای عمل پیوسته با توزیع‌های احتمال تک‌وجهی برای یادگیری تقویتی درون‌خطی

چکیده

For on-policy reinforcement learning, discretizing action space for continuous control can easily express multiple modes and is straightforward to optimize. However, without considering the inherent ordering between the discrete atomic actions, the explosion in the number of discrete actions can possess undesired properties and induce a higher variance for the policy gradient estimator. In this paper, we introduce a straightforward architecture that addresses this issue by constraining the discrete policy to be unimodal using Poisson probability distributions. This unimodal architecture can better leverage the continuity in the underlying continuous action space using explicit unimodal probability distributions. We conduct extensive experiments to show that the discrete policy with the unimodal probability distribution provides significantly faster convergence and higher performance for on-policy reinforcement learning algorithms in challenging control tasks, especially in highly complex tasks such as Humanoid. We provide theoretical analysis on the variance of the policy gradient estimator, which suggests that our attentively designed unimodal discrete policy can retain a lower variance and yield a stable learning process.

چکیده به فارسی (ترجمه ماشینی)

برای یادگیری تقویت کننده در سیاست ، گسسته کردن فضای عمل برای کنترل مداوم می تواند به راحتی چندین حالت را بیان کند و برای بهینه سازی ساده است.با این حال ، بدون در نظر گرفتن ترتیب ذاتی بین اقدامات اتمی گسسته ، انفجار در تعداد اقدامات گسسته می تواند دارای خواص ناخواسته باشد و واریانس بالاتری را برای برآوردگر شیب سیاست ایجاد کند.در این مقاله ، ما یک معماری ساده را معرفی می کنیم که با محدود کردن خط مشی گسسته با استفاده از توزیع احتمال پواسون ، این مسئله را به این موضوع می پردازد.این معماری UNIMODAL می تواند با استفاده از توزیع های احتمال غیرعادی صریح ، از تداوم در فضای عمل مداوم اساسی استفاده کند.ما آزمایش های گسترده ای را انجام می دهیم تا نشان دهیم که سیاست گسسته با توزیع احتمال غیرمعمول ، همگرایی سریعتر و عملکرد بالاتر برای الگوریتم های یادگیری تقویت کننده در سیاست را در کارهای کنترل چالش برانگیز ، به ویژه در کارهای بسیار پیچیده مانند انسان دوستانه فراهم می کند.ما تجزیه و تحلیل نظری را در مورد واریانس برآوردگر شیب خط مشی ارائه می دهیم ، که نشان می دهد سیاست گسسته ای غیرعادی با دقت طراحی شده ما می تواند واریانس کمتری را حفظ کرده و یک فرایند یادگیری پایدار را به دست آورد.