مقاله ارزیابی مدلهای پیش ساخته برای یادگیری مادام العمر قابل استفاده

چکیده

We create a novel benchmark for evaluating a Deployable Lifelong Learning system for Visual Reinforcement Learning (RL) that is pretrained on a curated dataset, and propose a novel Scalable Lifelong Learning system capable of retaining knowledge from the previously learnt RL tasks. Our benchmark measures the efficacy of a deployable Lifelong Learning system that is evaluated on scalability, performance and resource utilization. Our proposed system, once pretrained on the dataset, can be deployed to perform continual learning on unseen tasks. Our proposed method consists of a Few Shot Class Incremental Learning (FSCIL) based task-mapper and an encoder/backbone trained entirely using the pretrain dataset. The policy parameters corresponding to the recognized task are then loaded to perform the task. We show that this system can be scaled to incorporate a large number of tasks due to the small memory footprint and fewer computational resources. We perform experiments on our DeLL (Deployment for Lifelong Learning) benchmark on the Atari games to determine the efficacy of the system.

چکیده به فارسی (ترجمه ماشینی)

ما یک معیار جدید برای ارزیابی یک سیستم یادگیری مادام العمر قابل استقرار برای یادگیری تقویت بصری (RL) ایجاد می کنیم که در یک مجموعه داده سرپرستی پیش بینی شده است ، و یک سیستم یادگیری مادام العمر مقیاس پذیر جدید را ارائه می دهد که قادر به حفظ دانش از کارهای RL قبلی آموخته شده است.معیار ما اثربخشی یک سیستم یادگیری مادام العمر مستقر را که در مقیاس پذیری ، عملکرد و استفاده از منابع ارزیابی می شود ، اندازه گیری می کند.سیستم پیشنهادی ما ، هنگامی که بر روی مجموعه داده ها پیش بینی شد ، می تواند برای انجام یادگیری مداوم در کارهای غیب مستقر شود.روش پیشنهادی ما شامل چند طبقه یادگیری افزایشی کلاس شات (FSCIL) مبتنی بر کار و یک رمزگذار/ستون فقرات است که کاملاً با استفاده از مجموعه داده Pretrain آموزش دیده است.پارامترهای خط مشی مربوط به کار شناخته شده برای انجام کار بارگیری می شوند.ما نشان می دهیم که این سیستم می تواند به دلیل ردپای حافظه کوچک و منابع محاسباتی کمتری ، تعداد زیادی از کارها را در بر بگیرد.ما برای تعیین اثربخشی سیستم ، آزمایشاتی را در معیار Dell (استقرار برای یادگیری مادام العمر) در بازی های Atari انجام می دهیم.