ترجمه فارسی مقاله PC$^2$: شبه‌عنوان‌گذاری مبتنی بر طبقه‌بندی برای یادگیری تناظر نویزی در بازیابی بین‌وضعیتی

چکیده

In the realm of cross-modal retrieval, seamlessly integrating diverse modalities within multimedia remains a formidable challenge, especially given the complexities introduced by noisy correspondence learning (NCL). Such noise often stems from mismatched data pairs, which is a significant obstacle distinct from traditional noisy labels. This paper introduces Pseudo-Classification based Pseudo-Captioning (PC$^2$) framework to address this challenge. PC$^2$ offers a threefold strategy: firstly, it establishes an auxiliary “pseudo-classification” task that interprets captions as categorical labels, steering the model to learn image-text semantic similarity through a non-contrastive mechanism. Secondly, unlike prevailing margin-based techniques, capitalizing on PC$^2$’s pseudo-classification capability, we generate pseudo-captions to provide more informative and tangible supervision for each mismatched pair. Thirdly, the oscillation of pseudo-classification is borrowed to assistant the correction of correspondence. In addition to technical contributions, we develop a realistic NCL dataset called Noise of Web (NoW), which could be a new powerful NCL benchmark where noise exists naturally. Empirical evaluations of PC$^2$ showcase marked improvements over existing state-of-the-art robust cross-modal retrieval techniques on both simulated and realistic datasets with various NCL settings. The contributed dataset and source code are released at https://github.com/alipay/PC2-NoiseofWeb.

چکیده به فارسی (ترجمه ماشینی)

در قلمرو بازیابی متقابل ، یکپارچه ادغام روشهای متنوع در چندرسانه ای یک چالش بزرگ است ، به ویژه با توجه به پیچیدگی های معرفی شده توسط یادگیری مکاتبات پر سر و صدا (NCL).چنین سر و صدایی غالباً ناشی از جفت داده های ناسازگار است ، که یک مانع قابل توجه است که از برچسب های سنتی پر سر و صدا متمایز است.در این مقاله چارچوب شبه اختصاصی مبتنی بر شبه (PC $^2 $) برای رسیدگی به این چالش ، ارائه شده است.PC $ 2 $ یک استراتژی سه گانه ارائه می دهد: اولا ، یک کار کمکی “شبه طبقه بندی” را ایجاد می کند که زیرنویس ها را به عنوان برچسب های طبقه بندی می کند ، و این مدل را برای یادگیری شباهت معنایی تصویر از طریق یک مکانیسم غیر کنتراستاری هدایت می کند.ثانیا ، بر خلاف تکنیک های غالب مبتنی بر حاشیه ، با استفاده از قابلیت طبقه بندی شبه $ 2 $ $ ، ما مقاصد شبه ای را برای ارائه نظارت آموزنده تر و ملموس تر برای هر جفت ناسازگار تولید می کنیم.سوم ، نوسان طبقه بندی شبه به دستیار تصحیح مکاتبات وام گرفته می شود.علاوه بر مشارکت های فنی ، ما یک مجموعه داده NCL واقع بینانه به نام نویز وب (اکنون) ایجاد می کنیم ، که می تواند یک معیار قدرتمند NCL جدید باشد که در آن نویز به طور طبیعی وجود دارد.ارزیابی های تجربی از PC $ 2 $ ویترین پیشرفت های مشخصی نسبت به تکنیک های بازیابی متقاطع قدرتمند موجود در هر دو مجموعه داده شبیه سازی شده و واقع بینانه با تنظیمات مختلف NCL.مجموعه داده و کد منبع در https://github.com/alipay/pc2-noiseofweb منتشر می شود.