ترجمه فارسی مقاله SAPG: گرادیان‌های سیاست تقسیم و تجمیع

چکیده

Despite extreme sample inefficiency, on-policy reinforcement learning, aka policy gradients, has become a fundamental tool in decision-making problems. With the recent advances in GPU-driven simulation, the ability to collect large amounts of data for RL training has scaled exponentially. However, we show that current RL methods, e.g. PPO, fail to ingest the benefit of parallelized environments beyond a certain point and their performance saturates. To address this, we propose a new on-policy RL algorithm that can effectively leverage large-scale environments by splitting them into chunks and fusing them back together via importance sampling. Our algorithm, termed SAPG, shows significantly higher performance across a variety of challenging environments where vanilla PPO and other strong baselines fail to achieve high performance. Website at https://sapg-rl.github.io/

چکیده به فارسی (ترجمه ماشینی)

علیرغم ناکارآمدی نمونه شدید ، یادگیری تقویت کننده در سیاست ، شیب خط مشی ، به ابزاری اساسی در مشکلات تصمیم گیری تبدیل شده است.با پیشرفت های اخیر در شبیه سازی GPU محور ، امکان جمع آوری مقادیر زیادی از داده ها برای آموزش RL به صورت نمایی کاهش یافته است.با این حال ، ما نشان می دهیم که روشهای فعلی RL ، به عنوان مثالPPO ، نتوانسته است از مزایای محیط های موازی فراتر از یک نقطه خاص و عملکرد آنها اشباع شود.برای پرداختن به این موضوع ، ما یک الگوریتم جدید RL در سیاست را پیشنهاد می کنیم که می تواند با تقسیم آنها به تکه ها و از طریق نمونه گیری اهمیت ، آنها را به طور موثری از محیط های بزرگ استفاده کند.الگوریتم ما با نام SAPG ، عملکرد قابل توجهی بالاتر را در انواع محیط های چالش برانگیز نشان می دهد که در آن وانیل PPO و سایر خطوط قوی در دستیابی به عملکرد بالا ناکام هستند.وب سایت در https://sapg-rl.github.io/