ترجمه فارسی مقاله یک روش کالیبراسیون گرادیان پویای مؤثر برای یادگیری مداوم

چکیده

Continual learning (CL) is a fundamental topic in machine learning, where the goal is to train a model with continuously incoming data and tasks. Due to the memory limit, we cannot store all the historical data, and therefore confront the “catastrophic forgetting” problem, i.e., the performance on the previous tasks can substantially decrease because of the missing information in the latter period. Though a number of elegant methods have been proposed, the catastrophic forgetting phenomenon still cannot be well avoided in practice. In this paper, we study the problem from the gradient perspective, where our aim is to develop an effective algorithm to calibrate the gradient in each updating step of the model; namely, our goal is to guide the model to be updated in the right direction under the situation that a large amount of historical data are unavailable. Our idea is partly inspired by the seminal stochastic variance reduction methods (e.g., SVRG and SAGA) for reducing the variance of gradient estimation in stochastic gradient descent algorithms. Another benefit is that our approach can be used as a general tool, which is able to be incorporated with several existing popular CL methods to achieve better performance. We also conduct a set of experiments on several benchmark datasets to evaluate the performance in practice.

چکیده به فارسی (ترجمه ماشینی)

یادگیری مداوم (CL) موضوعی اساسی در یادگیری ماشین است ، جایی که هدف این است که یک مدل را با داده ها و وظایف مداوم ورودی آموزش دهید.با توجه به محدودیت حافظه ، ما نمی توانیم تمام داده های تاریخی را ذخیره کنیم و بنابراین با مشکل “فراموش کردن فاجعه بار” مقابله می کنیم ، یعنی عملکرد در کارهای قبلی به دلیل اطلاعات گمشده در دوره دوم می تواند به طور قابل توجهی کاهش یابد.اگرچه تعدادی از روشهای ظریف ارائه شده است ، اما هنوز هم در عمل نمی توان از پدیده فراموشی فاجعه بار به خوبی جلوگیری کرد.در این مقاله ، ما مسئله را از دیدگاه شیب بررسی می کنیم ، جایی که هدف ما تهیه یک الگوریتم مؤثر برای کالیبراسیون شیب در هر مرحله به روزرسانی مدل است.یعنی ، هدف ما هدایت مدل برای به روزرسانی در جهت درست تحت شرایطی است که مقدار زیادی از داده های تاریخی در دسترس نیست.ایده ما تا حدودی از روشهای کاهش واریانس تصادفی منی (به عنوان مثال ، SVRG و SAGA) برای کاهش واریانس تخمین شیب در الگوریتم های نزول شیب تصادفی الهام گرفته شده است.فایده دیگر این است که از رویکرد ما می توان به عنوان یک ابزار کلی استفاده کرد ، که می تواند با چندین روش CL محبوب موجود برای دستیابی به عملکرد بهتر ترکیب شود.ما همچنین مجموعه ای از آزمایشات را در چندین مجموعه داده معیار برای ارزیابی عملکرد در عمل انجام می دهیم.