ترجمه فارسی مقاله تخصیص اعتبار با جداسازی پاداش جزئی در بهینه‌سازی سیاست مجاورتی چندعاملی

چکیده

Multi-agent proximal policy optimization (MAPPO) has recently demonstrated state-of-the-art performance on challenging multi-agent reinforcement learning tasks. However, MAPPO still struggles with the credit assignment problem, wherein the sheer difficulty in ascribing credit to individual agents’ actions scales poorly with team size. In this paper, we propose a multi-agent reinforcement learning algorithm that adapts recent developments in credit assignment to improve upon MAPPO. Our approach leverages partial reward decoupling (PRD), which uses a learned attention mechanism to estimate which of a particular agent’s teammates are relevant to its learning updates. We use this estimate to dynamically decompose large groups of agents into smaller, more manageable subgroups. We empirically demonstrate that our approach, PRD-MAPPO, decouples agents from teammates that do not influence their expected future reward, thereby streamlining credit assignment. We additionally show that PRD-MAPPO yields significantly higher data efficiency and asymptotic performance compared to both MAPPO and other state-of-the-art methods across several multi-agent tasks, including StarCraft II. Finally, we propose a version of PRD-MAPPO that is applicable to textit{shared} reward settings, where PRD was previously not applicable, and empirically show that this also leads to performance improvements over MAPPO.

چکیده به فارسی (ترجمه ماشینی)

بهینه سازی سیاست پروگزیمال چند عامل (MAPPO) اخیراً عملکرد پیشرفته ای را در مورد کارهای یادگیری تقویت کننده چند عامل به چالش کشیده است.با این حال ، ماپو هنوز هم با مشکل واگذاری اعتباری تلاش می کند ، که در آن دشواری شدید در تعیین اعتبار به اقدامات عوامل فردی با اندازه تیم ضعیف است.در این مقاله ، ما یک الگوریتم یادگیری تقویت کننده چند عامل را پیشنهاد می کنیم که تحولات اخیر در تکالیف اعتباری را برای بهبود در ماپو تطبیق می دهد.رویکرد ما از بین بردن پاداش جزئی (PRD) استفاده می کند ، که از یک مکانیسم توجه آموخته شده برای تخمین اینکه کدام یک از هم تیمی های یک عامل خاص مربوط به به روزرسانی های یادگیری آن هستند ، استفاده می کند.ما از این تخمین برای تجزیه پویا گروه های بزرگی از عوامل در زیر گروه های کوچکتر و قابل کنترل تر استفاده می کنیم.ما از نظر تجربی نشان می دهیم که رویکرد ما ، PRD-Mappo ، نمایندگان هم تیمی ها را که بر پاداش آینده مورد انتظار آنها تأثیر نمی گذارد ، جدا می کند و از این طریق تکلیف اعتباری را ساده تر می کند.علاوه بر این ، ما نشان می دهیم که PRD-MAPPO بازده داده های قابل توجهی بالاتر و عملکرد بدون علامت در مقایسه با MAPPO و سایر روش های پیشرفته در چندین کار چند عامل ، از جمله StarCraft II است.سرانجام ، ما نسخه ای از PRD-MAPPO را پیشنهاد می کنیم که برای تنظیمات پاداش textit {مشترک قابل استفاده باشد ، جایی که PRD قبلاً قابل استفاده نبود ، و به صورت تجربی نشان می دهد که این امر منجر به بهبود عملکرد نسبت به ماپو می شود.