ترجمه فارسی مقاله Independent Policy Mirror Descent برای بازی های بالقوه مارکوف: مقیاس پذیری به تعداد بازیکنان زیاد

چکیده

Markov Potential Games (MPGs) form an important sub-class of Markov games, which are a common framework to model multi-agent reinforcement learning problems. In particular, MPGs include as a special case the identical-interest setting where all the agents share the same reward function. Scaling the performance of Nash equilibrium learning algorithms to a large number of agents is crucial for multi-agent systems. To address this important challenge, we focus on the independent learning setting where agents can only have access to their local information to update their own policy. In prior work on MPGs, the iteration complexity for obtaining $ε$-Nash regret scales linearly with the number of agents $N$. In this work, we investigate the iteration complexity of an independent policy mirror descent (PMD) algorithm for MPGs. We show that PMD with KL regularization, also known as natural policy gradient, enjoys a better $\sqrt{N}$ dependence on the number of agents, improving over PMD with Euclidean regularization and prior work. Furthermore, the iteration complexity is also independent of the sizes of the agents’ action spaces.

چکیده به فارسی (ترجمه ماشینی)

بازی های بالقوه مارکوف (MPG) یک زیر کلاس مهم از بازی های مارکوف را تشکیل می دهند ، که یک چارچوب مشترک برای مدل سازی مشکلات یادگیری تقویت کننده چند عامل است.به طور خاص ، MPG ها به عنوان یک مورد خاص تنظیم منافع یکسان را شامل می شوند که در آن همه عوامل دارای عملکرد پاداش یکسان هستند.مقیاس بندی عملکرد الگوریتم های یادگیری تعادل NASH به تعداد زیادی از عوامل برای سیستم های چند عامل بسیار مهم است.برای پرداختن به این چالش مهم ، ما بر روی تنظیمات مستقل یادگیری تمرکز می کنیم که در آن نمایندگان فقط می توانند به اطلاعات محلی خود دسترسی پیدا کنند تا خط مشی خود را به روز کنند.در کار قبلی در MPG ، پیچیدگی تکرار برای بدست آوردن مقیاس پشیمانی $ $ $ $ با تعداد نمایندگان $ n $.در این کار ، ما پیچیدگی تکرار یک الگوریتم نزول آینه سیاست مستقل (PMD) برای MPG را بررسی می کنیم.ما نشان می دهیم که PMD با تنظیم KL ، که به عنوان شیب سیاست طبیعی نیز شناخته می شود ، از وابستگی $ \ SQRT {n} $ بهتر به تعداد نمایندگان برخوردار است و با تنظیم اقلیدسی و کار قبلی بهبود می یابد.علاوه بر این ، پیچیدگی تکرار نیز مستقل از اندازه فضاهای عمل عوامل است.