ترجمه فارسی مقاله CLEFT: یادگیری مقابله‌ای زبان-تصویر با مدل زبان بزرگ کارآمد و تنظیم دقیق سریع

چکیده

Recent advancements in Contrastive Language-Image Pre-training (CLIP) have demonstrated notable success in self-supervised representation learning across various tasks. However, the existing CLIP-like approaches often demand extensive GPU resources and prolonged training times due to the considerable size of the model and dataset, making them poor for medical applications, in which large datasets are not always common. Meanwhile, the language model prompts are mainly manually derived from labels tied to images, potentially overlooking the richness of information within training samples. We introduce a novel language-image Contrastive Learning method with an Efficient large language model and prompt Fine-Tuning (CLEFT) that harnesses the strengths of the extensive pre-trained language and visual models. Furthermore, we present an efficient strategy for learning context-based prompts that mitigates the gap between informative clinical diagnostic data and simple class labels. Our method demonstrates state-of-the-art performance on multiple chest X-ray and mammography datasets compared with various baselines. The proposed parameter efficient framework can reduce the total trainable model size by 39% and reduce the trainable language model to only 4% compared with the current BERT encoder.

چکیده به فارسی (ترجمه ماشینی)

پیشرفت های اخیر در پیش از تصویربرداری زبان متضاد (CLIP) موفقیت قابل توجهی در یادگیری بازنمایی خود تحت نظارت در کارهای مختلف نشان داده است.با این حال ، رویکردهای موجود کلیپ موجود اغلب به دلیل اندازه قابل توجه مدل و مجموعه داده ها ، نیاز به منابع گسترده GPU و زمان طولانی مدت آموزش دارند ، و آنها را برای کاربردهای پزشکی ضعیف می کند ، که در آن مجموعه داده های بزرگ همیشه رایج نیست.در همین حال ، فرم های مدل زبان عمدتاً به صورت دستی از برچسب های گره خورده به تصاویر حاصل می شود ، که به طور بالقوه نادیده گرفتن غنای اطلاعات در نمونه های آموزش است.ما یک روش جدید یادگیری متضاد با زبان-تصویر را با یک مدل زبان کارآمد بزرگ معرفی می کنیم و تنظیم دقیق (شکاف) را فوری می کنیم که نقاط قوت زبان و مدلهای بصری از قبل آموزش دیده را مهار می کند.علاوه بر این ، ما یک استراتژی کارآمد برای یادگیری مبتنی بر متن ارائه می دهیم که باعث کاهش شکاف بین داده های تشخیصی بالینی آموزنده و برچسب های کلاس ساده می شود.روش ما عملکرد پیشرفته در مجموعه داده های مختلف اشعه X و ماموگرافی را در مقایسه با خطوط مختلف نشان می دهد.چارچوب کارآمد پارامتر پیشنهادی می تواند کل اندازه مدل قابل آموزش را 39 ٪ کاهش داده و مدل زبان قابل آموزش را در مقایسه با رمزگذار فعلی BERT به 4 ٪ کاهش دهد.