ترجمه فارسی مقاله یادگیری بدون فراموشی با استفاده از توجه

چکیده

Continual learning (CL) refers to the ability to continually learn over time by accommodating new knowledge while retaining previously learned experience. While this concept is inherent in human learning, current machine learning methods are highly prone to overwrite previously learned patterns and thus forget past experience. Instead, model parameters should be updated selectively and carefully, avoiding unnecessary forgetting while optimally leveraging previously learned patterns to accelerate future learning. Since hand-crafting effective update mechanisms is difficult, we propose meta-learning a transformer-based optimizer to enhance CL. This meta-learned optimizer uses attention to learn the complex relationships between model parameters across a stream of tasks, and is designed to generate effective weight updates for the current task while preventing catastrophic forgetting on previously encountered tasks. Evaluations on benchmark datasets like SplitMNIST, RotatedMNIST, and SplitCIFAR-100 affirm the efficacy of the proposed approach in terms of both forward and backward transfer, even on small sets of labeled data, highlighting the advantages of integrating a meta-learned optimizer within the continual learning framework.

چکیده به فارسی (ترجمه ماشینی)

یادگیری مداوم (CL) به توانایی یادگیری مداوم با گذشت زمان با اسکان دانش جدید در حالی که تجربه قبلی آموخته شده اشاره دارد.در حالی که این مفهوم در یادگیری انسان ذاتی است ، روشهای فعلی یادگیری ماشین بسیار مستعد ابتلا به الگوهای قبلاً آموخته شده هستند و بنابراین تجربه گذشته را فراموش می کنند.در عوض ، پارامترهای مدل باید به صورت انتخابی و با دقت به روز شوند و از فراموشی غیر ضروری در حالی که بهینه از الگوهای قبلی آموخته شده برای تسریع در یادگیری آینده استفاده می کنند ، جلوگیری شود.از آنجا که مکانیسم های به روزرسانی موثر دست ساز کار دشوار است ، ما پیشنهاد می کنیم متا یادگیری یک بهینه ساز مبتنی بر ترانسفورماتور برای تقویت CL.این بهینه ساز متا با استفاده از توجه برای یادگیری روابط پیچیده بین پارامترهای مدل در یک جریان از کارها استفاده می کند ، و برای ایجاد به روزرسانی وزن مؤثر برای کار فعلی و در عین حال جلوگیری از فراموشی فاجعه بار در کارهای قبلی که قبلاً روبرو شده اند ، طراحی شده است.ارزیابی در مجموعه داده های معیار مانند SplitMnist ، RotatedMnist و SplitCifar-100 اثربخشی رویکرد پیشنهادی را از نظر انتقال رو به جلو و عقب ، حتی در مجموعه های کوچک از داده های دارای برچسب ، تأیید می کند و مزایای ادغام یک بهینه ساز متا را در قسمت مداوم برجسته می کند.چارچوب یادگیری.