ترجمه فارسی مقاله یک رویکرد گرادیان سیاستی برای حل بازی‌های اطلاعات ناقص با همگرایی تکراری

چکیده

Policy gradient methods have become a staple of any single-agent reinforcement learning toolbox, due to their combination of desirable properties: iterate convergence, efficient use of stochastic trajectory feedback, and theoretically-sound avoidance of importance sampling corrections. In multi-agent imperfect-information settings (extensive-form games), however, it is still unknown whether the same desiderata can be guaranteed while retaining theoretical guarantees. Instead, sound methods for extensive-form games rely on approximating counterfactual values (as opposed to Q values), which are incompatible with policy gradient methodologies. In this paper, we investigate whether policy gradient can be safely used in two-player zero-sum imperfect-information extensive-form games (EFGs). We establish positive results, showing for the first time that a policy gradient method leads to provable best-iterate convergence to a regularized Nash equilibrium in self-play.

چکیده به فارسی (ترجمه ماشینی)

روشهای شیب خط مشی به دلیل ترکیب آنها از خصوصیات مطلوب ، به یکی از اصلی ترین جعبه های ابزار یادگیری تقویت کننده تبدیل شده است: همگرایی تکرار ، استفاده کارآمد از بازخورد مسیر تصادفی و اجتناب از نظر نظری از اصلاحات نمونه گیری اهمیت.در تنظیمات ناقص چند عامل (بازی های گسترده) ، با این حال ، هنوز مشخص نیست که آیا می توان همان Desiderata را ضمن حفظ ضمانت های نظری تضمین کرد.در عوض ، روشهای صوتی برای بازی های گسترده به تقریب مقادیر ضد خلاف (بر خلاف مقادیر Q) متکی هستند ، که با روشهای شیب سیاست ناسازگار هستند.در این مقاله ، ما بررسی می کنیم که آیا شیب سیاست می تواند با خیال راحت در بازی های گسترده ای از ناقص و ناقص با فرم های گسترده (EFGS) با خیال راحت استفاده شود.ما نتایج مثبتی را ایجاد می کنیم ، برای اولین بار نشان می دهیم که یک روش شیب سیاست منجر به همگرایی بهترین سواد به یک تعادل Nash منظم در بازی خود می شود.