ترجمه فارسی مقاله تحلیل کامل خطای الگوریتم‌های یادگیری گرادیان سیاست برای مسئله کنترل میدان میانگین درجه دوم خطی اکتشافی در زمان پیوسته با نویز مشترک

چکیده

We consider reinforcement learning (RL) methods for finding optimal policies in linear quadratic (LQ) mean field control (MFC) problems over an infinite horizon in continuous time, with common noise and entropy regularization. We study policy gradient (PG) learning and first demonstrate convergence in a model-based setting by establishing a suitable gradient domination condition.Next, our main contribution is a comprehensive error analysis, where we prove the global linear convergence and sample complexity of the PG algorithm with two-point gradient estimates in a model-free setting with unknown parameters. In this setting, the parameterized optimal policies are learned from samples of the states and population distribution.Finally, we provide numerical evidence supporting the convergence of our implemented algorithms.

چکیده به فارسی (ترجمه ماشینی)

ما روشهای یادگیری تقویت کننده (RL) را برای یافتن سیاست های بهینه در مشکلات کنترل خطی خطی (LQ) میانگین کنترل میدان (MFC) در یک افق بی نهایت در زمان مداوم ، با سر و صدای مشترک و تنظیم آنتروپی در نظر می گیریم.ما یادگیری شیب سیاست (PG) را مطالعه می کنیم و ابتدا همگرایی را در یک مدل مبتنی بر مدل با ایجاد یک شرایط سلطه شیب مناسب نشان می دهیم. در متن ، سهم اصلی ما یک تجزیه و تحلیل خطای جامع است ، جایی که ما همگرایی خطی جهانی و پیچیدگی نمونه PG را اثبات می کنیمالگوریتم با برآورد شیب دو نقطه ای در یک تنظیم عاری از مدل با پارامترهای ناشناخته.در این تنظیم ، سیاست های بهینه پارامتری از نمونه ای از ایالات و توزیع جمعیت آموخته می شود. در نهایت ، ما شواهد عددی را ارائه می دهیم که از همگرایی الگوریتم های اجرا شده ما حمایت می کند.