ترجمه فارسی مقاله CP-Prompt: دستورالعمل متقابل مبتنی بر ترکیب برای یادگیری مداوم دامنه-افزایشی

چکیده

The key challenge of cross-modal domain-incremental learning (DIL) is to enable the learning model to continuously learn from novel data with different feature distributions under the same task without forgetting old ones. However, existing top-performing methods still cause high forgetting rates, by lacking intra-domain knowledge extraction and inter-domain common prompting strategy. In this paper, we propose a simple yet effective framework, CP-Prompt, by training limited parameters to instruct a pre-trained model to learn new domains and avoid forgetting existing feature distributions. CP-Prompt captures intra-domain knowledge by compositionally inserting personalized prompts on multi-head self-attention layers and then learns the inter-domain knowledge with a common prompting strategy. CP-Prompt shows superiority compared with state-of-the-art baselines among three widely evaluated DIL tasks. The source code is available at https://github.com/dannis97500/CP_Prompt.

چکیده به فارسی (ترجمه ماشینی)

چالش اصلی یادگیری دامنه متقاطع (DIL) این است که مدل یادگیری را قادر به یادگیری مداوم از داده های جدید با توزیع ویژگی های مختلف تحت همان کار بدون فراموش کردن موارد قدیمی می کند.با این حال ، روشهای موجود در سطح بالا هنوز با کمبود استخراج دانش درون دامنه و استراتژی فراوانی مشترک بین دامنه ، هنوز هم باعث فراموشی زیاد می شوند.در این مقاله ، ما یک چارچوب ساده و در عین حال مؤثر ، CP-Prompt را با آموزش پارامترهای محدود برای آموزش یک مدل از پیش آموزش داده شده برای یادگیری دامنه های جدید و جلوگیری از فراموش کردن توزیع ویژگی های موجود پیشنهاد می کنیم.CP-Prompt دانش درون دامنه را با درج ترکیبات شخصی در لایه های خودآزمایی چند سر ضبط می کند و سپس دانش بین دامنه را با یک استراتژی فوری مشترک می آموزد.CP-PROMPT برتری را در مقایسه با خط مقدماتی پیشرفته در بین سه کار DIL که به طور گسترده ارزیابی شده است ، نشان می دهد.کد منبع در https://github.com/dannis97500/cp_prompt در دسترس است.