ترجمه فارسی مقاله یادگیری مداوم نمایش‌های مستقل غیرخطی

چکیده

Identifying the causal relations between interested variables plays a pivotal role in representation learning as it provides deep insights into the dataset. Identifiability, as the central theme of this approach, normally hinges on leveraging data from multiple distributions (intervention, distribution shift, time series, etc.). Despite the exciting development in this field, a practical but often overlooked problem is: what if those distribution shifts happen sequentially? In contrast, any intelligence possesses the capacity to abstract and refine learned knowledge sequentially — lifelong learning. In this paper, with a particular focus on the nonlinear independent component analysis (ICA) framework, we move one step forward toward the question of enabling models to learn meaningful (identifiable) representations in a sequential manner, termed continual causal representation learning. We theoretically demonstrate that model identifiability progresses from a subspace level to a component-wise level as the number of distributions increases. Empirically, we show that our method achieves performance comparable to nonlinear ICA methods trained jointly on multiple offline distributions and, surprisingly, the incoming new distribution does not necessarily benefit the identification of all latent variables.

چکیده به فارسی (ترجمه ماشینی)

شناسایی روابط علی بین متغیرهای علاقه مند نقش اساسی در یادگیری بازنمایی دارد زیرا بینش عمیقی در مورد مجموعه داده ها ارائه می دهد.شناسایی ، به عنوان موضوع اصلی این رویکرد ، به طور معمول به استفاده از داده های مختلف از توزیع های متعدد (مداخله ، تغییر توزیع ، سری زمانی و غیره) وابسته است.با وجود پیشرفت هیجان انگیز در این زمینه ، یک مشکل عملی اما غالباً نادیده گرفته می شود: اگر این تغییرات توزیع به صورت متوالی اتفاق می افتد ، چه می شود؟در مقابل ، هرگونه اطلاعاتی از توانایی انتزاع و پالایش دانش آموخته شده متوالی – یادگیری مادام العمر برخوردار است.در این مقاله ، با تمرکز ویژه بر روی چارچوب تجزیه و تحلیل مؤلفه مستقل غیرخطی (ICA) ، ما یک قدم به جلو به سمت سؤال از فعال کردن مدلها برای یادگیری بازنمایی معنادار (قابل شناسایی) به صورت پی در پی ، به عنوان یادگیری مستمر بازنمایی علّی حرکت می کنیم.ما از لحاظ تئوریکی نشان می دهیم که با افزایش تعداد توزیع ها ، شناسایی مدل از یک سطح زیر فضای به یک سطح مؤلفه پیشرفت می کند.از نظر تجربی ، ما نشان می دهیم که روش ما به عملکرد قابل مقایسه با روشهای غیرخطی ICA که به طور مشترک در توزیع های آفلاین چندین آموزش دیده می شود ، دست می یابد و با کمال تعجب ، توزیع جدید ورودی لزوماً به نفع شناسایی همه متغیرهای نهفته نیست.