ترجمه فارسی مقاله پاداش‌های ذاتی فرایادگیری جعبه سیاه برای محیط‌های با پاداش پراکنده

چکیده

Despite the successes and progress of deep reinforcement learning over the last decade, several challenges remain that hinder its broader application. Some fundamental aspects to improve include data efficiency, generalization capability, and ability to learn in sparse-reward environments, which often require human-designed dense rewards. Meta-learning has emerged as a promising approach to address these issues by optimizing components of the learning algorithm to meet desired characteristics. Additionally, a different line of work has extensively studied the use of intrinsic rewards to enhance the exploration capabilities of algorithms. This work investigates how meta-learning can improve the training signal received by RL agents. The focus is on meta-learning intrinsic rewards under a framework that doesn’t rely on the use of meta-gradients. We analyze and compare this approach to the use of extrinsic rewards and a meta-learned advantage function. The developed algorithms are evaluated on distributions of continuous control tasks with both parametric and non-parametric variations, and with only sparse rewards accessible for the evaluation tasks.

چکیده به فارسی (ترجمه ماشینی)

با وجود موفقیت ها و پیشرفت یادگیری عمیق در طی یک دهه گذشته ، چندین چالش باقی مانده است که مانع کاربرد گسترده تر آن می شود.برخی از جنبه های اساسی برای بهبود شامل راندمان داده ها ، توانایی تعمیم و توانایی یادگیری در محیط های پراکنده پاداش ، که اغلب به پاداش های متراکم با طراحی انسان نیاز دارند.یادگیری متا به عنوان یک رویکرد امیدوارکننده برای رسیدگی به این موضوعات با بهینه سازی مؤلفه های الگوریتم یادگیری برای برآورده کردن ویژگی های مورد نظر ظاهر شده است.علاوه بر این ، یک خط متفاوت از کار به طور گسترده استفاده از پاداش های ذاتی را برای تقویت قابلیت های اکتشاف الگوریتم ها مورد مطالعه قرار داده است.این کار بررسی می کند که چگونه یادگیری متا می تواند سیگنال آموزشی دریافت شده توسط نمایندگان RL را بهبود بخشد.تمرکز بر روی پاداش های ذاتی متا یادگیری در زیر چارچوبی است که به استفاده از دانش آموزان متا تکیه نمی کند.ما این روش را با استفاده از پاداش های بیرونی و یک عملکرد مزیت یاد گرفته شده تجزیه و تحلیل و مقایسه می کنیم.الگوریتم های توسعه یافته بر روی توزیع وظایف کنترل مداوم با تغییرات پارامتری و غیر پارامتری ، و تنها با پاداش های پراکنده برای کارهای ارزیابی قابل دسترسی هستند.