ترجمه فارسی مقاله IRECA: یادگیری تقویت شده با متن تقویت شده با پاداش ذاتی برای هماهنگی انسانی و آه

چکیده

In human-AI coordination scenarios, human agents usually exhibit asymmetric behaviors that are significantly sparse and unpredictable compared to those of AI agents. These characteristics introduce two primary challenges to human-AI coordination: the effectiveness of obtaining sparse rewards and the efficiency of training the AI agents. To tackle these challenges, we propose an Intrinsic Reward-enhanced Context-aware (IReCa) reinforcement learning (RL) algorithm, which leverages intrinsic rewards to facilitate the acquisition of sparse rewards and utilizes environmental context to enhance training efficiency. Our IReCa RL algorithm introduces three unique features: (i) it encourages the exploration of sparse rewards by incorporating intrinsic rewards that supplement traditional extrinsic rewards from the environment; (ii) it improves the acquisition of sparse rewards by prioritizing the corresponding sparse state-action pairs; and (iii) it enhances the training efficiency by optimizing the exploration and exploitation through innovative context-aware weights of extrinsic and intrinsic rewards. Extensive simulations executed in the Overcooked layouts demonstrate that our IReCa RL algorithm can increase the accumulated rewards by approximately 20% and reduce the epochs required for convergence by approximately 67% compared to state-of-the-art baselines.

چکیده به فارسی (ترجمه ماشینی)

در سناریوهای هماهنگی بشر و AI ، عوامل انسانی معمولاً رفتارهای نامتقارن را نشان می دهند که در مقایسه با عوامل AI به طور قابل توجهی پراکنده و غیرقابل پیش بینی هستند.این خصوصیات دو چالش اصلی را با هماهنگی انسان و عایدی معرفی می کند: اثربخشی به دست آوردن پاداش های پراکنده و کارآیی آموزش عوامل هوش مصنوعی.برای مقابله با این چالش ها ، ما یک الگوریتم یادگیری تقویت تقویت شده با تقویت پاداش (IRECA) (RL) را پیشنهاد می کنیم ، که برای تسهیل در کسب پاداش های پراکنده ، از پاداش های ذاتی استفاده می کند و از زمینه محیط زیست برای تقویت راندمان آموزش استفاده می کند.الگوریتم IRECA RL ما سه ویژگی منحصر به فرد را معرفی می کند: (i) با درج پاداش های ذاتی که جوایز بیرونی سنتی را از محیط زیست تکمیل می کند ، اکتشاف پاداش های پراکنده را تشویق می کند.(ب) با اولویت بندی جفت های عملکرد پراکنده مربوطه ، کسب پاداش های پراکنده را بهبود می بخشد.و (iii) این کار با بهینه سازی اکتشاف و بهره برداری از طریق وزن نوآورانه آگاهی از پاداش های بیرونی و ذاتی ، بهره وری آموزش را افزایش می دهد.شبیه سازی های گسترده ای که در طرح های بیش از حد پخته شده اجرا می شود نشان می دهد که الگوریتم IRECA RL ما می تواند پاداش های انباشته شده را تقریباً 20 ٪ افزایش دهد و دوره های مورد نیاز برای همگرایی را تقریباً 67 ٪ در مقایسه با پایه های مدرن از هنر کاهش دهد.