ترجمه فارسی مقاله تنظیم دقیق و کارآمد و همه‌کاره مدل‌های Zero-shot

چکیده

Large-scale image-text pre-trained models enable zero-shot classification and provide consistent accuracy across various data distributions. Nonetheless, optimizing these models in downstream tasks typically requires fine-tuning, which reduces generalization to out-of-distribution (OOD) data and demands extensive computational resources. We introduce Robust Adapter (R-Adapter), a novel method for fine-tuning zero-shot models to downstream tasks while simultaneously addressing both these issues. Our method integrates lightweight modules into the pre-trained model and employs novel self-ensemble techniques to boost OOD robustness and reduce storage expenses substantially. Furthermore, we propose MPM-NCE loss designed for fine-tuning on vision-language downstream tasks. It ensures precise alignment of multiple image-text pairs and discriminative feature learning. By extending the benchmark for robust fine-tuning beyond classification to include diverse tasks such as cross-modal retrieval and open vocabulary segmentation, we demonstrate the broad applicability of R-Adapter. Our extensive experiments demonstrate that R-Adapter achieves state-of-the-art performance across a diverse set of tasks, tuning only 13% of the parameters of the CLIP encoders.

چکیده به فارسی (ترجمه ماشینی)

مدل های پیش ساخته تصویر در مقیاس بزرگ ، طبقه بندی صفر را فعال می کنند و دقت مداوم را در توزیع داده های مختلف ارائه می دهند.با این وجود ، بهینه سازی این مدلها در کارهای پایین دست به طور معمول نیاز به تنظیم دقیق دارد ، که باعث می شود تعمیم داده های خارج از توزیع (OOD) داده شود و منابع محاسباتی گسترده ای را می طلبد.ما آداپتور قوی (R-Adapter) را معرفی می کنیم ، یک روش جدید برای تنظیم دقیق مدل های صفر شات به کارهای پایین دست و در عین حال به طور همزمان به هر دو این موضوع پرداخته است.روش ما ماژول های سبک وزن را در مدل از قبل آموزش دیده ادغام می کند و از تکنیک های جدید خودکشی برای تقویت استحکام OOD و کاهش هزینه های ذخیره سازی به طور قابل توجهی استفاده می کند.علاوه بر این ، ما از دست دادن MPM-NCE که برای تنظیم دقیق در کارهای پایین دست بینایی طراحی شده است ، پیشنهاد می کنیم.این هم ترازی دقیق جفت های متن تصویر و یادگیری ویژگی های تبعیض آمیز را تضمین می کند.با گسترش معیار برای تنظیم دقیق و محکم فراتر از طبقه بندی ، شامل وظایف متنوعی مانند بازیابی متقابل و تقسیم واژگان باز ، ما کاربرد گسترده ای از R-Adapter را نشان می دهیم.آزمایش های گسترده ما نشان می دهد که آژانسفرش R به عملکرد پیشرفته در مجموعه متنوعی از کارها دست می یابد و تنها 13 ٪ از پارامترهای رمزگذار کلیپ را تنظیم می کند.