ترجمه فارسی مقاله پخش مجدد کارآمد برای یادگیری کلاس با مدل های از پیش آموزش دیده

چکیده

In general class-incremental learning, researchers typically use sample sets as a tool to avoid catastrophic forgetting during continuous learning. At the same time, researchers have also noted the differences between class-incremental learning and Oracle training and have attempted to make corrections. In recent years, researchers have begun to develop class-incremental learning algorithms utilizing pre-trained models, achieving significant results. This paper observes that in class-incremental learning, the steady state among the weight guided by each class center is disrupted, which is significantly correlated with catastrophic forgetting. Based on this, we propose a new method to overcoming forgetting . In some cases, by retaining only a single sample unit of each class in memory for replay and applying simple gradient constraints, very good results can be achieved. Experimental results indicate that under the condition of pre-trained models, our method can achieve competitive performance with very low computational cost and by simply using the cross-entropy loss.

چکیده به فارسی (ترجمه ماشینی)

به طور کلی یادگیری کلاسیک ، محققان به طور معمول از مجموعه نمونه ها به عنوان ابزاری برای جلوگیری از فراموشی فاجعه بار در هنگام یادگیری مداوم استفاده می کنند.در عین حال ، محققان همچنین تفاوت های بین یادگیری کلاس و آموزش اوراکل را ذکر کرده اند و سعی در انجام اصلاحات دارند.در سالهای اخیر ، محققان شروع به توسعه الگوریتم های یادگیری کلاس با استفاده از مدلهای از پیش آموزش داده شده و به نتایج قابل توجهی می رسند.در این مقاله مشاهده می شود که در یادگیری کلاسیک ، حالت پایدار در بین وزن هدایت شده توسط هر مرکز کلاس مختل می شود که با فراموشی فاجعه بار ارتباط قابل توجهی دارد.بر این اساس ، ما یک روش جدید برای غلبه بر فراموشی پیشنهاد می کنیم.در بعضی موارد ، با حفظ فقط یک واحد نمونه واحد از هر کلاس در حافظه برای پخش و استفاده از محدودیت های شیب ساده ، می توان نتایج بسیار خوبی را بدست آورد.نتایج تجربی نشان می دهد که تحت شرط مدل های از پیش آموزش دیده ، روش ما می تواند با هزینه محاسباتی بسیار کم و با استفاده از از دست دادن متقابل آنتروپی ، به عملکرد رقابتی برسد.