ترجمه فارسی مقاله آموزش CLIP برای توسعه حس عدد برای رگرسیون ترتیبی

چکیده

Ordinal regression is a fundamental problem within the field of computer vision, with customised well-trained models on specific tasks. While pre-trained vision-language models (VLMs) have exhibited impressive performance on various vision tasks, their potential for ordinal regression has received less exploration. In this study, we first investigate CLIP’s potential for ordinal regression, from which we expect the model could generalise to different ordinal regression tasks and scenarios. Unfortunately, vanilla CLIP fails on this task, since current VLMs have a well-documented limitation of encapsulating compositional concepts such as number sense. We propose a simple yet effective method called NumCLIP to improve the quantitative understanding of VLMs. We disassemble the exact image to number-specific text matching problem into coarse classification and fine prediction stages. We discretize and phrase each numerical bin with common language concept to better leverage the available pre-trained alignment in CLIP. To consider the inherent continuous property of ordinal regression, we propose a novel fine-grained cross-modal ranking-based regularisation loss specifically designed to keep both semantic and ordinal alignment in CLIP’s feature space. Experimental results on three general ordinal regression tasks demonstrate the effectiveness of NumCLIP, with 10% and 3.83% accuracy improvement on historical image dating and image aesthetics assessment task, respectively. Code is publicly available at https://github.com/xmed-lab/NumCLIP.

چکیده به فارسی (ترجمه ماشینی)

رگرسیون معمولی یک مشکل اساسی در زمینه دید رایانه است ، با مدلهای خوب آموزش دیده در کارهای خاص.در حالی که مدلهای قبل از آموزش دیدگاه (VLM) عملکرد چشمگیر در کارهای مختلف بینایی به نمایش گذاشته اند ، پتانسیل آنها برای رگرسیون منظم اکتشافی کمتری داشته است.در این مطالعه ، ما ابتدا پتانسیل کلیپ را برای رگرسیون معمولی بررسی می کنیم ، که از آن انتظار داریم که این مدل بتواند به وظایف و سناریوهای مختلف رگرسیون نظم تعمیم یابد.متأسفانه ، کلیپ وانیل در این کار ناکام است ، زیرا VLM های فعلی محدودیت خوبی در محاصره مفاهیم ترکیبی مانند حس شماره دارند.ما یک روش ساده و در عین حال مؤثر به نام NumClip را برای بهبود درک کمی از VLM ها پیشنهاد می کنیم.ما تصویر دقیق را به مشکل تطبیق متن خاص در طبقه بندی درشت و مراحل پیش بینی خوب جدا می کنیم.ما هر سطل عددی را با مفهوم زبان مشترک گسسته و بیان می کنیم تا از بهتر تراز موجود از پیش آموزش در کلیپ استفاده کنیم.برای در نظر گرفتن خاصیت مداوم ذاتی رگرسیون نظم ، ما یک از دست دادن منظم مبتنی بر رتبه بندی مبتنی بر رتبه بندی متقاطع ریز و درشت را ارائه می دهیم که به طور خاص برای حفظ هم ترازی معنایی و هم نظم در فضای ویژگی کلیپ طراحی شده است.نتایج تجربی در سه وظیفه رگرسیون ترتیب عمومی ، اثربخشی NUMCLIP را نشان می دهد ، با بهبود دقت 10 ٪ و 3.83 ٪ در تاریخ ارزیابی تاریخچه و تاریخ ارزیابی زیبایی شناسی تصویر.کد به صورت عمومی در https://github.com/xmed-lab/numclip در دسترس است.