ترجمه فارسی مقاله یادآوری حافظه در سطح توزیع برای یادگیری مداوم: حفظ دانش و اجتناب از سردرگمی

چکیده

Continual Learning (CL) aims to enable Deep Neural Networks (DNNs) to learn new data without forgetting previously learned knowledge. The key to achieving this goal is to avoid confusion at the feature level, i.e., avoiding confusion within old tasks and between new and old tasks. Previous prototype-based CL methods generate pseudo features for old knowledge replay by adding Gaussian noise to the centroids of old classes. However, the distribution in the feature space exhibits anisotropy during the incremental process, which prevents the pseudo features from faithfully reproducing the distribution of old knowledge in the feature space, leading to confusion in classification boundaries within old tasks. To address this issue, we propose the Distribution-Level Memory Recall (DMR) method, which uses a Gaussian mixture model to precisely fit the feature distribution of old knowledge at the distribution level and generate pseudo features in the next stage. Furthermore, resistance to confusion at the distribution level is also crucial for multimodal learning, as the problem of multimodal imbalance results in significant differences in feature responses between different modalities, exacerbating confusion within old tasks in prototype-based CL methods. Therefore, we mitigate the multi-modal imbalance problem by using the Inter-modal Guidance and Intra-modal Mining (IGIM) method to guide weaker modalities with prior information from dominant modalities and further explore useful information within modalities. For the second key, We propose the Confusion Index to quantitatively describe a model’s ability to distinguish between new and old tasks, and we use the Incremental Mixup Feature Enhancement (IMFE) method to enhance pseudo features with new sample features, alleviating classification confusion between new and old knowledge.

چکیده به فارسی (ترجمه ماشینی)

یادگیری مداوم (CL) با هدف این است که شبکه های عصبی عمیق (DNN) را قادر به یادگیری داده های جدید بدون فراموش کردن دانش قبلی آموخته شده باشد.نکته اصلی دستیابی به این هدف ، جلوگیری از سردرگمی در سطح ویژگی ، یعنی جلوگیری از سردرگمی در کارهای قدیمی و بین کارهای جدید و قدیمی است.روشهای CL مبتنی بر نمونه اولیه با اضافه کردن نویز گاوسی به مرکز کلاسهای قدیمی ، ویژگی های شبه برای پخش مجدد دانش قدیمی ایجاد می کنند.با این حال ، توزیع در فضای ویژگی در طی فرآیند افزایشی ناهمسانگرد را نشان می دهد ، که مانع از تولید ویژگی های شبه از تولید مثل وفاداری توزیع دانش قدیمی در فضای ویژگی می شود و منجر به سردرگمی در مرزهای طبقه بندی در کارهای قدیمی می شود.برای پرداختن به این مسئله ، ما روش فراخوان حافظه در سطح توزیع (DMR) را پیشنهاد می کنیم ، که از یک مدل مخلوط گاوسی استفاده می کند تا دقیقاً توزیع ویژگی دانش قدیمی در سطح توزیع را متناسب کند و در مرحله بعدی ویژگی های شبه را ایجاد کند.علاوه بر این ، مقاومت در برابر سردرگمی در سطح توزیع نیز برای یادگیری مولتی مدال بسیار مهم است ، زیرا مشکل عدم تعادل چندمودال منجر به تفاوت های معنی داری در پاسخ های ویژگی بین روشهای مختلف می شود و باعث تشدید سردرگمی در کارهای قدیمی در روشهای CL مبتنی بر نمونه اولیه می شود.بنابراین ، ما با استفاده از راهنمایی بین مدلی و روش معدن درون معدنی (IGIM) برای هدایت روشهای ضعیف تر با اطلاعات قبلی از روشهای غالب و بررسی بیشتر اطلاعات مفید در روشها ، مشکل عدم تعادل چند معدنی را کاهش می دهیم.برای کلید دوم ، ما شاخص سردرگمی را برای توصیف کمی توانایی یک مدل در تمایز بین کارهای جدید و قدیمی پیشنهاد می کنیم و ما از روش تقویت ویژگی های افزایشی مخلوط (IMFE) برای تقویت ویژگی های شبه با ویژگی های نمونه جدید استفاده می کنیم ، و این باعث کاهش سردرگمی طبقه بندی بین جدید می شود.و دانش قدیمی