ترجمه فارسی مقاله شکل‌دهی پاداش خود-تطبیقی ​​بسیار کارآمد برای یادگیری تقویتی

چکیده

Reward shaping addresses the challenge of sparse rewards in reinforcement learning by constructing denser and more informative reward signals. To achieve self-adaptive and highly efficient reward shaping, we propose a novel method that incorporates success rates derived from historical experiences into shaped rewards. Our approach utilizes success rates sampled from Beta distributions, which dynamically evolve from uncertain to reliable values as more data is collected. Initially, the self-adaptive success rates exhibit more randomness to encourage exploration. Over time, they become more certain to enhance exploitation, thus achieving a better balance between exploration and exploitation. We employ Kernel Density Estimation (KDE) combined with Random Fourier Features (RFF) to derive the Beta distributions, resulting in a computationally efficient implementation in high-dimensional continuous state spaces. This method provides a non-parametric and learning-free approach. The proposed method is evaluated on a wide range of continuous control tasks with sparse and delayed rewards, demonstrating significant improvements in sample efficiency and convergence stability compared to relevant baselines.

چکیده به فارسی (ترجمه ماشینی)

شکل دهی پاداش با ایجاد سیگنال های متراکم تر و آموزنده تر پاداش ، به چالش پاداش های پراکنده در یادگیری تقویت می پردازد.برای دستیابی به شکل گیری پاداش خود سازگار و بسیار کارآمد ، ما یک روش جدید را پیشنهاد می کنیم که میزان موفقیت حاصل از تجربیات تاریخی را به پاداش های شکل می رساند.رویکرد ما از نرخ موفقیت نمونه برداری از توزیع بتا استفاده می کند ، که با جمع آوری داده های بیشتر ، به صورت پویا از نامشخص به مقادیر قابل اعتماد تکامل می یابد.در ابتدا ، نرخ موفقیت خود سازگار برای تشویق اکتشاف ، تصادفی بیشتری را نشان می دهد.با گذشت زمان ، آنها برای تقویت بهره برداری مطمئن تر می شوند ، بنابراین به تعادل بهتر بین اکتشاف و بهره برداری می رسند.ما از برآورد چگالی هسته (KDE) همراه با ویژگی های تصادفی فوریه (RFF) استفاده می کنیم تا توزیع بتا را بدست آوریم ، و در نتیجه اجرای محاسباتی کارآمد در فضاهای حالت مداوم با ابعاد بالا انجام می شود.این روش یک رویکرد غیر پارامتری و بدون یادگیری را ارائه می دهد.روش پیشنهادی در طیف گسترده ای از کارهای کنترل مداوم با پاداش های پراکنده و تأخیر ارزیابی می شود و نشان دهنده پیشرفت های قابل توجهی در راندمان نمونه و ثبات همگرایی در مقایسه با پایه های مربوطه است.