مقاله چارچوب یادگیری مبتنی بر توزیع چگالی برای پرداختن به چالش های یادگیری مداوم آنلاین

چکیده

In this paper, we address the challenges of online Continual Learning (CL) by introducing a density distribution-based learning framework. CL, especially the Class Incremental Learning, enables adaptation to new test distributions while continuously learning from a single-pass training data stream, which is more in line with the practical application requirements of real-world scenarios. However, existing CL methods often suffer from catastrophic forgetting and higher computing costs due to complex algorithm designs, limiting their practical use. Our proposed framework overcomes these limitations by achieving superior average accuracy and time-space efficiency, bridging the performance gap between CL and classical machine learning. Specifically, we adopt an independent Generative Kernel Density Estimation (GKDE) model for each CL task. During the testing stage, the GKDEs utilize a self-reported max probability density value to determine which one is responsible for predicting incoming test instances. A GKDE-based learning objective can ensure that samples with the same label are grouped together, while dissimilar instances are pushed farther apart. Extensive experiments conducted on multiple CL datasets validate the effectiveness of our proposed framework. Our method outperforms popular CL approaches by a significant margin, while maintaining competitive time-space efficiency, making our framework suitable for real-world applications. Code will be available at https://github.com/xxxx/xxxx.

چکیده به فارسی (ترجمه ماشینی)

در این مقاله ، ما با معرفی یک چارچوب یادگیری مبتنی بر توزیع چگالی ، به چالش های یادگیری مداوم آنلاین (CL) می پردازیم.CL ، به ویژه یادگیری افزایشی کلاس ، در حالی که به طور مداوم از یک جریان داده های آموزش تک پاسی یاد می گیرد ، سازگاری با توزیع های جدید را امکان پذیر می کند ، که بیشتر مطابق با الزامات عملی سناریوهای دنیای واقعی است.با این حال ، روشهای CL موجود اغلب به دلیل طرح های الگوریتم پیچیده ، از فراموشی فاجعه بار و هزینه های محاسباتی بالاتر رنج می برند و استفاده عملی آنها را محدود می کنند.چارچوب پیشنهادی ما با دستیابی به دقت متوسط و بازده زمان فضا ، بر این محدودیت ها غلبه می کند و باعث ایجاد شکاف عملکرد بین CL و یادگیری ماشین کلاسیک می شود.به طور خاص ، ما یک مدل تخمین چگالی هسته ای مستقل (GKDE) را برای هر کار CL اتخاذ می کنیم.در مرحله آزمایش ، GKDE ها از یک مقدار چگالی احتمال حداکثر خود گزارش شده برای تعیین اینکه کدام یک مسئول پیش بینی نمونه های آزمایش ورودی است ، استفاده می کنند.یک هدف یادگیری مبتنی بر GKDE می تواند اطمینان حاصل کند که نمونه هایی با همان برچسب در کنار هم قرار می گیرند ، در حالی که نمونه های متفاوت از هم دور می شوند.آزمایش های گسترده ای که بر روی چندین مجموعه داده CL انجام شده است ، اثربخشی چارچوب پیشنهادی ما را تأیید می کند.روش ما از رویکردهای CL محبوب با حاشیه قابل توجهی بهتر است ، ضمن حفظ کارایی رقابتی زمان فضا ، و این امر باعث می شود چارچوب ما برای برنامه های دنیای واقعی مناسب باشد.کد در https://github.com/xxxx/xxxx در دسترس خواهد بود.