ترجمه فارسی مقاله آموزش مسیریابی برای ترکیب آداپتور پویا در یادگیری مستمر با مدل‌های زبان

چکیده

Parameter-efficient fine-tuning (PEFT) methods are increasingly used with pre-trained language models (PLMs) for continual learning (CL). These methods involve training a PEFT module for each new task and using similarity-based selection to route modules during inference. However, they face two major limitations: 1) interference with already learned modules and 2) suboptimal routing when composing modules. In this paper, we introduce a method that isolates the training of PEFT modules for task specialization. Then, before evaluation, it learns to compose the previously learned modules by training a router that leverages samples from a small memory. We evaluate our method in two CL setups using several benchmarks. Our results show that our method provides a better composition of PEFT modules, leading to better generalization and performance compared to previous methods.

چکیده به فارسی (ترجمه ماشینی)

روشهای تنظیم دقیق پارامتر (PEFT) به طور فزاینده ای با مدل های زبان از قبل آموزش دیده (PLM) برای یادگیری مداوم (CL) استفاده می شود.این روشها شامل آموزش یک ماژول PEFT برای هر کار جدید و استفاده از انتخاب مبتنی بر شباهت برای ماژول های مسیر در هنگام استنتاج است.با این حال ، آنها با دو محدودیت اصلی روبرو هستند: 1) تداخل با ماژول های قبلاً آموخته شده و 2) مسیریابی زیر حد متوسط ​​هنگام تهیه ماژول ها.در این مقاله ، ما روشی را معرفی می کنیم که آموزش ماژول های PEFT را برای تخصص وظیفه جدا می کند.سپس ، قبل از ارزیابی ، یاد می گیرد که ماژول های قبلاً آموخته شده را با آموزش یک روتر که نمونه ها را از یک حافظه کوچک استفاده می کند ، تهیه کنید.ما روش خود را در دو تنظیم CL با استفاده از چندین معیار ارزیابی می کنیم.نتایج ما نشان می دهد که روش ما ترکیب بهتری از ماژول های PEFT را فراهم می کند و منجر به تعمیم بهتر و عملکرد در مقایسه با روش های قبلی می شود.