مقاله اصلاح شبه برچسب برای نویز وابسته به نمونه با استفاده از چارچوب معلم و دانش آموز

چکیده

The high capacity of deep learning models to learn complex patterns poses a significant challenge when confronted with label noise. The inability to differentiate clean and noisy labels ultimately results in poor generalization. We approach this problem by reassigning the label for each image using a new teacher-student based framework termed P-LC (pseudo-label correction). Traditional teacher-student networks are composed of teacher and student classifiers for knowledge distillation. In our novel approach, we reconfigure the teacher network into a triple encoder, leveraging the triplet loss to establish a pseudo-label correction system. As the student generates pseudo labels for a set of given images, the teacher learns to choose between the initially assigned labels and the pseudo labels. Experiments on MNIST, Fashion-MNIST, and SVHN demonstrate P-LC’s superior performance over existing state-of-the-art methods across all noise levels, most notably in high noise. In addition, we introduce a noise level estimation to help assess model performance and inform the need for additional data cleaning procedures.

چکیده به فارسی (ترجمه ماشینی)

ظرفیت بالای مدل های یادگیری عمیق برای یادگیری الگوهای پیچیده هنگام مواجهه با سر و صدای برچسب ، چالش مهمی را ایجاد می کند.عدم توانایی در تمایز برچسب های تمیز و پر سر و صدا در نهایت منجر به تعمیم ضعیف می شود.ما با تعیین مجدد برچسب برای هر تصویر با استفاده از یک چارچوب جدید مبتنی بر معلم و دانش آموز به نام P-LC (تصحیح شبه برچسب) به این مشکل نزدیک می شویم.شبکه های سنتی معلم و دانش آموز از طبقه بندی کننده معلمان و دانش آموزان برای تقطیر دانش تشکیل شده اند.در رویکرد جدید ما ، ما شبکه معلم را در یک رمزگذار سه گانه قرار می دهیم و از دست دادن سه گانه برای ایجاد یک سیستم تصحیح شبه برچسب استفاده می کنیم.از آنجا که دانش آموز برچسب های شبه ای را برای مجموعه ای از تصاویر داده شده تولید می کند ، معلم می آموزد که بین برچسب های اختصاص داده شده در ابتدا و برچسب های شبه انتخاب کند.آزمایشات مربوط به MNIST ، Fashion-Mnist و SVHN عملکرد برتر P-LC را نسبت به روشهای پیشرفته موجود در تمام سطوح سر و صدا نشان می دهد ، که مهمترین آنها در سر و صدای زیاد است.علاوه بر این ، ما یک تخمین سطح سر و صدا را برای کمک به ارزیابی عملکرد مدل معرفی می کنیم و نیاز به روشهای اضافی برای تمیز کردن داده ها را آگاه می کنیم.