مقاله یادگیری پیوسته از مدل های انتشار با استخراج تولیدی

چکیده

Diffusion models are powerful generative models that achieve state-of-the-art performance in tasks such as image synthesis. However, training them demands substantial amounts of data and computational resources. Continual learning would allow for incrementally learning new tasks and accumulating knowledge, thus reusing already trained models would be possible. One potentially suitable approach is generative replay, where a copy of a generative model trained on previous tasks produces synthetic data that are interleaved with data from the current task. However, standard generative replay applied to diffusion models results in a catastrophic loss in denoising capabilities. In this paper, we propose generative distillation, an approach that distils the entire reverse process of a diffusion model. We demonstrate that our approach significantly improves the continual learning performance of generative replay with only a moderate increase in the computational costs.

چکیده به فارسی (ترجمه ماشینی)

مدل های انتشار مدل های تولیدی قدرتمندی هستند که در کارهایی مانند سنتز تصویر به عملکرد پیشرفته می رسند.با این حال ، آموزش آنها نیاز به مقادیر قابل توجهی از داده ها و منابع محاسباتی دارد.یادگیری مداوم امکان یادگیری تدریجی کارهای جدید و جمع آوری دانش را فراهم می کند ، بنابراین استفاده مجدد از مدل های قبلاً آموزش دیده امکان پذیر است.یک رویکرد بالقوه مناسب ، پخش مجدد تولیدی است ، جایی که یک کپی از یک مدل تولیدی که روی کارهای قبلی آموزش دیده است ، داده های مصنوعی را تولید می کند که با داده های کار فعلی در هم تنیده شده اند.با این حال ، پخش مجدد مولد استاندارد که برای مدلهای انتشار اعمال می شود منجر به از بین رفتن فاجعه بار در قابلیت های دفع می شود.در این مقاله ، ما تقطیر تولیدی را پیشنهاد می کنیم ، رویکردی که کل فرآیند معکوس یک مدل انتشار را تقسیم می کند.ما نشان می دهیم که رویکرد ما به طور قابل توجهی عملکرد یادگیری مداوم پخش مجدد تولید را با تنها افزایش متوسط در هزینه های محاسباتی بهبود می بخشد.