ترجمه فارسی مقاله SparseGrow: پرداختن به فراموشی ناشی از رشد در یادگیری مستمر تکلیفی

چکیده

In continual learning (CL), model growth enhances adaptability over new data, improving knowledge retention for more tasks. However, improper model growth can lead to severe degradation of previously learned knowledge, an issue we name as growth-induced forgetting (GIFt), especially in task-agnostic CL using entire grown model for inference. Existing works, despite adopting model growth and random initialization for better adaptability, often fail to recognize the presence of GIFt caused by improper model growth. This oversight limits comprehensive control of forgetting and hinders full utilization of model growth. We are the first in CL to identify this issue and conduct an in-depth study on root cause of GIFt, where layer expansion stands out among model growth strategies, widening layers without affecting model functionality. Yet, direct adoption of layer expansion presents challenges. It lacks data-driven control and initialization of expanded parameters to balance adaptability and knowledge retention. This paper presents a novel SparseGrow approach to overcome the issue of GIFt while enhancing adaptability over new data. SparseGrow employs data-driven sparse layer expansion to control efficient parameter usage during growth, reducing GIFt from excessive growth and functionality changes. It also combines sparse growth with on-data initialization at training late-stage to create partially 0-valued expansions that fit learned distribution, enhancing retention and adaptability. To further minimize forgetting, freezing is applied by calculating the sparse mask, allowing data-driven preservation of important parameters. Through experiments across datasets with various settings, cases and task numbers, we demonstrate the necessity of layer expansion and showcase the effectiveness of SparseGrow in overcoming GIFt, highlighting its adaptability and knowledge retention for incremental tasks.

چکیده به فارسی (ترجمه ماشینی)

در یادگیری مداوم (CL) ، رشد مدل باعث افزایش سازگاری نسبت به داده های جدید می شود و حفظ دانش برای کارهای بیشتر را بهبود می بخشد.با این حال ، رشد مدل نادرست می تواند منجر به تخریب شدید دانش قبلاً آموخته شده شود ، موضوعی که ما از آن به عنوان فراموشی ناشی از رشد (هدیه) نامگذاری می کنیم ، به ویژه در CL کار با استفاده از کل مدل رشد یافته برای استنباط.آثار موجود ، علی رغم اتخاذ رشد مدل و اولیه سازی تصادفی برای سازگاری بهتر ، اغلب در تشخیص حضور هدیه ناشی از رشد نامناسب مدل ناکام هستند.این نظارت کنترل جامع فراموشی را محدود می کند و مانع استفاده کامل از رشد مدل می شود.ما اولین بار در CL هستیم که این موضوع را شناسایی کرده و یک مطالعه عمیق در مورد علت اصلی هدیه انجام می دهیم ، جایی که گسترش لایه در بین استراتژی های رشد مدل قرار دارد ، لایه ها را بدون تأثیر بر عملکرد مدل گسترش می دهد.با این حال ، اتخاذ مستقیم گسترش لایه چالش هایی را نشان می دهد.فاقد کنترل داده محور و اولیه سازی پارامترهای گسترش یافته برای تعادل سازگاری و حفظ دانش است.در این مقاله یک رویکرد جدید پراکنده برای غلبه بر مسئله هدیه و در عین حال تقویت سازگاری نسبت به داده های جدید ارائه شده است.پراکنده از گسترش لایه پراکنده داده محور برای کنترل استفاده از پارامتر کارآمد در طول رشد استفاده می کند و باعث کاهش هدیه از رشد بیش از حد و تغییرات عملکرد می شود.همچنین این رشد پراکنده را با ابتدای داده های مربوط به داده ها در آموزش در اواخر مرحله ترکیب می کند تا گسترش های جزئی با ارزش 0 را ایجاد کند که متناسب با توزیع آموخته شده ، افزایش حفظ و سازگاری باشد.برای به حداقل رساندن فراموشی بیشتر ، انجماد با محاسبه ماسک پراکنده اعمال می شود و به حفظ داده محور پارامترهای مهم امکان می دهد.از طریق آزمایشات در سراسر مجموعه داده ها با تنظیمات مختلف ، موارد و شماره ها ، ما ضرورت گسترش لایه را نشان می دهیم و اثربخشی پراکنده در غلبه بر هدیه ، برجسته کردن سازگاری آن و حفظ دانش برای کارهای افزایشی را نشان می دهیم.