ترجمه فارسی مقاله یادگیری تقویتی عمیق مبتنی بر تصویر با محرک‌های ذاتی: در مورد اجرای وظایف پیچیده رباتیک

چکیده

Reinforcement Learning (RL) has been widely used to solve tasks where the environment consistently provides a dense reward value. However, in real-world scenarios, rewards can often be poorly defined or sparse. Auxiliary signals are indispensable for discovering efficient exploration strategies and aiding the learning process. In this work, inspired by intrinsic motivation theory, we postulate that the intrinsic stimuli of novelty and surprise can assist in improving exploration in complex, sparsely rewarded environments. We introduce a novel sample-efficient method able to learn directly from pixels, an image-based extension of TD3 with an autoencoder called textit{NaSA-TD3}. The experiments demonstrate that NaSA-TD3 is easy to train and an efficient method for tackling complex continuous-control robotic tasks, both in simulated environments and real-world settings. NaSA-TD3 outperforms existing state-of-the-art RL image-based methods in terms of final performance without requiring pre-trained models or human demonstrations.

چکیده به فارسی (ترجمه ماشینی)

یادگیری تقویت کننده (RL) به طور گسترده ای برای حل وظایف در جایی که محیط به طور مداوم یک ارزش پاداش متراکم را فراهم می کند ، استفاده شده است.با این حال ، در سناریوهای دنیای واقعی ، پاداش ها اغلب می توانند ضعیف یا پراکنده باشند.سیگنال های کمکی برای کشف استراتژی های اکتشافی کارآمد و کمک به فرایند یادگیری ضروری هستند.در این کار ، با الهام از تئوری انگیزه ذاتی ، فرض می کنیم که محرکهای ذاتی تازگی و تعجب می تواند در بهبود اکتشاف در محیط های پیچیده و کم ارزش کمک کند.ما یک روش جدید و کارآمد نمونه را معرفی می کنیم که می تواند مستقیماً از پیکسل ها بیاموزد ، یک پسوند مبتنی بر تصویر از TD3 با یک AutoEncoder به نام textit {nasa-td3.آزمایشات نشان می دهد که NASA-TD3 به راحتی آموزش و یک روش کارآمد برای مقابله با کارهای پیچیده روباتیک کنترل مداوم ، هم در محیط های شبیه سازی شده و هم در تنظیمات دنیای واقعی است.NASA-TD3 از روشهای پیشرفته مبتنی بر تصویر RL از نظر عملکرد نهایی بدون نیاز به مدل های از پیش آموزش یا تظاهرات انسانی بهتر عمل می کند.