ترجمه فارسی مقاله SLCA++: قدرت تنظیم دقیق متوالی را برای یادگیری مستمر با قبل از آموزش آزاد کنید

چکیده

In recent years, continual learning with pre-training (CLPT) has received widespread interest, instead of its traditional focus of training from scratch. The use of strong pre-trained models (PTMs) can greatly facilitate knowledge transfer and alleviate catastrophic forgetting, but also suffers from progressive overfitting of pre-trained knowledge into specific downstream tasks. A majority of current efforts often keep the PTMs frozen and incorporate task-specific prompts to instruct representation learning, coupled with a prompt selection process for inference. However, due to the limited capacity of prompt parameters, this strategy demonstrates only sub-optimal performance in continual learning. In comparison, tuning all parameters of PTMs often provides the greatest potential for representation learning, making sequential fine-tuning (Seq FT) a fundamental baseline that has been overlooked in CLPT. To this end, we present an in-depth analysis of the progressive overfitting problem from the lens of Seq FT. Considering that the overly fast representation learning and the biased classification layer constitute this particular problem, we introduce the advanced Slow Learner with Classifier Alignment (SLCA++) framework to unleash the power of Seq FT, serving as a strong baseline approach for CLPT. Our approach involves a Slow Learner to selectively reduce the learning rate of backbone parameters, and a Classifier Alignment to align the disjoint classification layers in a post-hoc fashion. We further enhance the efficacy of SL with a symmetric cross-entropy loss, as well as employ a parameter-efficient strategy to implement Seq FT with SLCA++. Across a variety of continual learning scenarios on image classification benchmarks, our approach provides substantial improvements and outperforms state-of-the-art methods by a large margin. Code: https://github.com/GengDavid/SLCA.

چکیده به فارسی (ترجمه ماشینی)

در سالهای اخیر ، یادگیری مداوم با پیش آموزش (CLPT) به جای تمرکز سنتی آموزش از ابتدا ، مورد علاقه گسترده ای قرار گرفته است.استفاده از مدلهای از پیش آموزش قوی (PTMS) می تواند انتقال دانش را تا حد زیادی تسهیل کند و فراموشی فاجعه بار را کاهش دهد ، اما همچنین از پیشرفت بیش از حد دانش از پیش آموزش دیده در کارهای پایین دست خاص رنج می برد.اکثر تلاش های فعلی اغلب PTM ها را منجمد می کند و از دستورالعمل های خاص وظیفه برای آموزش یادگیری بازنمایی ، همراه با یک فرایند انتخاب سریع برای استنتاج استفاده می کند.با این حال ، با توجه به ظرفیت محدود پارامترهای سریع ، این استراتژی تنها عملکرد زیر بهینه را در یادگیری مداوم نشان می دهد.در مقایسه ، تنظیم تمام پارامترهای PTM ها اغلب بیشترین پتانسیل را برای یادگیری بازنمایی فراهم می کند ، و تنظیم دقیق پی در پی (SEQ FT) را یک پایه اساسی است که در CLPT نادیده گرفته شده است.برای این منظور ، ما یک تجزیه و تحلیل عمیق از مشکل بیش از حد پیشرونده از لنزهای Seq Ft ارائه می دهیم.با توجه به اینکه یادگیری بازنمایی بیش از حد سریع و لایه طبقه بندی مغرضانه این مشکل خاص را تشکیل می دهد ، ما یادگیرنده آهسته پیشرفته را با چارچوب تراز طبقه بندی کننده (SLCA ++) معرفی می کنیم تا قدرت SEQ FT را رها کنیم و به عنوان یک رویکرد پایه قوی برای CLPT خدمت کنیم.رویکرد ما شامل یک یادگیرنده آهسته برای کاهش انتخابی میزان یادگیری پارامترهای ستون فقرات و یک تراز طبقه بندی کننده برای تراز کردن لایه های طبقه بندی جداگانه به روشی پس از تعقیب است.ما بیشتر اثربخشی SL را با از دست دادن متقاطع متقارن آنتروپی ، و همچنین از یک استراتژی کارآمد پارامتر برای اجرای SEQ FT با SLCA ++ استفاده می کنیم.در میان انواع سناریوهای یادگیری مداوم در معیارهای طبقه بندی تصویر ، رویکرد ما پیشرفت های قابل توجهی را ارائه می دهد و روشهای پیشرفته ای را با حاشیه بزرگی انجام می دهد.کد: https://github.com/gengdavid/slca.