ترجمه فارسی مقاله CLIPCleaner: پاک کردن برچسب های پر سر و صدا با CLIP

چکیده

Learning with Noisy labels (LNL) poses a significant challenge for the Machine Learning community. Some of the most widely used approaches that select as clean samples for which the model itself (the in-training model) has high confidence, e.g., `small loss’, can suffer from the so called `self-confirmation’ bias. This bias arises because the in-training model, is at least partially trained on the noisy labels. Furthermore, in the classification case, an additional challenge arises because some of the label noise is between classes that are visually very similar (`hard noise’). This paper addresses these challenges by proposing a method (\textit{CLIPCleaner}) that leverages CLIP, a powerful Vision-Language (VL) model for constructing a zero-shot classifier for efficient, offline, clean sample selection. This has the advantage that the sample selection is decoupled from the in-training model and that the sample selection is aware of the semantic and visual similarities between the classes due to the way that CLIP is trained. We provide theoretical justifications and empirical evidence to demonstrate the advantages of CLIP for LNL compared to conventional pre-trained models. Compared to current methods that combine iterative sample selection with various techniques, \textit{CLIPCleaner} offers a simple, single-step approach that achieves competitive or superior performance on benchmark datasets. To the best of our knowledge, this is the first time a VL model has been used for sample selection to address the problem of Learning with Noisy Labels (LNL), highlighting their potential in the domain.

چکیده به فارسی (ترجمه ماشینی)

یادگیری با برچسب های پر سر و صدا (LNL) چالش مهمی را برای جامعه یادگیری ماشین ایجاد می کند.برخی از رویکردهای بسیار پرکاربرد که به عنوان نمونه های تمیز انتخاب می شوند که خود مدل (مدل در آموزش) اعتماد به نفس بالایی دارد ، به عنوان مثال ، “ضرر کوچک” ، می تواند از تعصب به اصطلاح “اعتماد به نفس” رنج ببرد.این تعصب به این دلیل بوجود می آید که حداقل تا حدی روی برچسب های پر سر و صدا آموزش دیده است.علاوه بر این ، در مورد طبقه بندی ، یک چالش اضافی به وجود می آید زیرا برخی از سر و صدای برچسب بین کلاس هایی است که از نظر بصری بسیار مشابه هستند (“سر و صدای سخت”).در این مقاله با ارائه یک روش (\ textit {clipcleaner}) که از کلیپ استفاده می کند ، یک مدل قدرتمند بینایی (VL) برای ساخت یک طبقه بندی کننده صفر برای انتخاب کارآمد ، آفلاین ، تمیز است ، به این چالش ها می پردازد.این مزیت دارد که انتخاب نمونه از مدل آموزش جدا شده و انتخاب نمونه از شباهت های معنایی و بصری بین کلاس ها به دلیل نحوه آموزش کلیپ آگاه است.ما توجیهات نظری و شواهد تجربی را برای نشان دادن مزایای کلیپ برای LNL در مقایسه با مدل های قبل از آموزش معمولی ارائه می دهیم.در مقایسه با روشهای فعلی که انتخاب نمونه تکراری را با تکنیک های مختلف ترکیب می کند ، \ textit {ClipCleaner} یک رویکرد ساده و تک مرحله ای را ارائه می دهد که به عملکرد رقابتی یا برتر در مجموعه داده های معیار می رسد.به بهترین دانش ما ، این اولین باری است که از یک مدل VL برای انتخاب نمونه استفاده می شود تا مسئله یادگیری با برچسب های پر سر و صدا (LNL) را برطرف کند و پتانسیل آنها را در دامنه برجسته کند.