ترجمه فارسی مقاله Adarank: پیش بینی رتبه ماژول مبتنی بر اختلاف نظر برای سازگاری با درجه پایین

چکیده

With the rise of language and multimodal models of ever-increasing size, pretraining a general-purpose foundational model and adapting it to downstream tasks has become common practice. To this end, adaptation efficiency can be a critical bottleneck given the large model sizes, hence efficient finetuning methods such as LoRA have become prevalent. However, LoRA is typically applied with the same rank across all model layers, despite mounting evidence from transfer learning literature that during finetuning, later layers diverge more from pretrained weights. Inspired by the theory and observations around feature learning and module criticality, we develop a simple model disagreement based technique to predict the rank of a given module relative to the other modules. Empirically, AdaRank generalizes notably better on unseen data than using uniform ranks with the same number of parameters. Compared to prior work, AdaRank has the unique advantage of leaving the pretraining and adaptation stages completely intact: no need for any additional objectives or regularizers, which can hinder adaptation accuracy and performance. Our code is publicly available at https://github.com/google-research/google-research/tree/master/adaptive_low_rank.

چکیده به فارسی (ترجمه ماشینی)

با ظهور زبان و مدل های چند مدلی با اندازه روزافزون ، پیش بینی یک مدل بنیادی با هدف کلی و تطبیق آن با کارهای پایین دست به یک روش معمول تبدیل شده است.برای این منظور ، با توجه به اندازه های بزرگ مدل ، راندمان سازگاری می تواند یک تنگنا مهم باشد ، از این رو روش های کارآمد Finetuning مانند LORA شیوع یافته است.با این حال ، لورا به طور معمول با علی رغم شواهد و مدارکی که از ادبیات یادگیری انتقال وجود دارد که در طول FinetUning ، لایه های بعدی بیشتر از وزن های پیش ساخته فاصله می گیرند ، با همان رتبه در تمام لایه های مدل اعمال می شود.با الهام از تئوری و مشاهدات پیرامون یادگیری ویژگی و انتقاد از ماژول ، ما یک تکنیک ساده مبتنی بر اختلاف نظر برای پیش بینی رتبه یک ماژول معین نسبت به ماژول های دیگر ایجاد می کنیم.از نظر تجربی ، AdArank به ویژه در مورد داده های غیب نسبت به استفاده از رده های یکنواخت با همان تعداد پارامترها تعمیم می یابد.در مقایسه با کار قبلی ، Adarank از مزیت منحصر به فرد در ترک مراحل مقدماتی و سازگاری کاملاً دست نخورده برخوردار است: نیازی به اهداف اضافی یا منظم کننده نیست ، که می تواند مانع از دقت و عملکرد سازگاری شود.کد ما به صورت عمومی در https://github.com/google-research/google-research/tree/master/adaptive_low_rank در دسترس است.