ترجمه فارسی مقاله تنها به یک هدف نیاز دارید: مهارت‌ها و اکتشاف از یادگیری تقویتی مقابله‌ای بدون پاداش، نمایش یا اهداف فرعی پدیدار می‌شوند

چکیده

In this paper, we present empirical evidence of skills and directed exploration emerging from a simple RL algorithm long before any successful trials are observed. For example, in a manipulation task, the agent is given a single observation of the goal state and learns skills, first for moving its end-effector, then for pushing the block, and finally for picking up and placing the block. These skills emerge before the agent has ever successfully placed the block at the goal location and without the aid of any reward functions, demonstrations, or manually-specified distance metrics. Once the agent has learned to reach the goal state reliably, exploration is reduced. Implementing our method involves a simple modification of prior work and does not require density estimates, ensembles, or any additional hyperparameters. Intuitively, the proposed method seems like it should be terrible at exploration, and we lack a clear theoretical understanding of why it works so effectively, though our experiments provide some hints.

چکیده به فارسی (ترجمه ماشینی)

در این مقاله ، ما شواهد تجربی از مهارت ها و اکتشافات کارگردانی را ارائه می دهیم که مدتها قبل از مشاهده هر آزمایش موفقیت آمیز از یک الگوریتم RL ساده ناشی می شود.به عنوان مثال ، در یک کار دستکاری ، به عامل یک مشاهده واحد از وضعیت هدف داده می شود و مهارت ها را می آموزد ، ابتدا برای حرکت نهایی خود ، سپس برای فشار دادن بلوک و در نهایت برای برداشت و قرار دادن بلوک.این مهارت ها قبل از اینکه نماینده تا به حال با موفقیت در محل هدف و بدون کمک به هرگونه کارکرد پاداش ، تظاهرات و یا معیارهای از راه دور مشخص شده دستی قرار گرفته باشد ، پدیدار می شود.هنگامی که عامل آموخته است که با اطمینان به حالت هدف برسد ، اکتشاف کاهش می یابد.اجرای روش ما شامل اصلاح ساده کار قبلی است و نیازی به برآورد چگالی ، گروه ها یا هرگونه فشار خون اضافی ندارد.به طور شهودی ، روش پیشنهادی به نظر می رسد که باید در اکتشاف وحشتناک باشد ، و ما فاقد درک نظری روشنی از این موضوع هستیم که چرا اینقدر کار می کند ، اگرچه آزمایشات ما نکاتی را ارائه می دهد.