ترجمه فارسی مقاله SARA: تطبیق رتبه پایین تطبیقی ​​مبتنی بر مقدار منفرد

چکیده

With the increasing number of parameters in large pre-trained models, LoRA as a parameter-efficient fine-tuning(PEFT) method is widely used for not adding inference overhead. The LoRA method assumes that weight changes during fine-tuning can be approximated by low-rank matrices. However, the rank values need to be manually verified to match different downstream tasks, and they cannot accommodate the varying importance of different layers in the model. In this work, we first analyze the relationship between the performance of different layers and their ranks using SVD. Based on this, we design the Singular-Value Based Adaptive Low-Rank Adaption(SARA), which adaptively finds the rank during initialization by performing SVD on the pre-trained weights. Additionally, we explore the Mixture-of-SARA(Mo-SARA), which significantly reduces the number of parameters by fine-tuning only multiple parallel sets of singular values controlled by a router. Extensive experiments on various complex tasks demonstrate the simplicity and parameter efficiency of our methods. They can effectively and adaptively find the most suitable rank for each layer of each model.

چکیده به فارسی (ترجمه ماشینی)

با افزایش تعداد پارامترها در مدلهای بزرگ از قبل آموزش دیده ، LORA به عنوان یک روش تنظیم دقیق پارامتر (PEFT) به طور گسترده ای برای اضافه کردن سربار استنتاج استفاده می شود.روش LORA فرض می کند که تغییر وزن در هنگام تنظیم دقیق می تواند توسط ماتریس های درجه پایین تقریب شود.با این حال ، مقادیر درجه برای مطابقت با کارهای مختلف پایین دست باید به صورت دستی تأیید شود ، و آنها نمی توانند اهمیت متفاوتی از لایه های مختلف در مدل را در خود جای دهند.در این کار ، ابتدا رابطه بین عملکرد لایه های مختلف و رده های آنها را با استفاده از SVD تجزیه و تحلیل می کنیم.بر این اساس ، ما اقتباسی با رتبه پایین تطبیقی ​​مبتنی بر ارزش منحنی (SARA) را طراحی می کنیم ، که با انجام SVD بر روی وزنهای از قبل آموزش دیده ، به طور سازگار رتبه را در حین اولیه سازی می یابد.علاوه بر این ، ما مخلوط SARA (MO-SARA) را کشف می کنیم ، که با تنظیم دقیق فقط مجموعه های موازی چندگانه از مقادیر مفرد که توسط یک روتر کنترل می شوند ، تعداد پارامترها را به میزان قابل توجهی کاهش می دهد.آزمایش های گسترده در مورد کارهای پیچیده مختلف ، سادگی و بازده پارامتر روشهای ما را نشان می دهد.آنها می توانند به طور مؤثر و سازگار مناسب ترین رتبه برای هر لایه از هر مدل را پیدا کنند.