ترجمه فارسی مقاله افزایش داده‌های یادگیری متضاد تخمین نویز انگیزشی مثبت است

چکیده

Inspired by the idea of Positive-incentive Noise (Pi-Noise or $π$-Noise) that aims at learning the reliable noise beneficial to tasks, we scientifically investigate the connection between contrastive learning and $π$-noise in this paper. By converting the contrastive loss to an auxiliary Gaussian distribution to quantitatively measure the difficulty of the specific contrastive model under the information theory framework, we properly define the task entropy, the core concept of $π$-noise, of contrastive learning. It is further proved that the predefined data augmentation in the standard contrastive learning paradigm can be regarded as a kind of point estimation of $π$-noise. Inspired by the theoretical study, a framework that develops a $π$-noise generator to learn the beneficial noise (instead of estimation) as data augmentations for contrast is proposed. The designed framework can be applied to diverse types of data and is also completely compatible with the existing contrastive models. From the visualization, we surprisingly find that the proposed method successfully learns effective augmentations.

چکیده به فارسی (ترجمه ماشینی)

با الهام از ایده سر و صدای مثبت مثبت (pi-noise یا $ π $-noise) که هدف آن یادگیری سر و صدای قابل اعتماد برای وظایف است ، ما به طور علمی ارتباط بین یادگیری متضاد و π π $ را در این مقاله بررسی می کنیم.با تبدیل ضرر متضاد به توزیع گاوسی کمکی برای اندازه گیری کمی مشکل مدل متضاد خاص تحت چارچوب تئوری اطلاعات ، ما آنتروپی وظیفه ، مفهوم اصلی π π $-noise را از یادگیری متضاد تعریف می کنیم.علاوه بر این ثابت شده است که افزایش داده های از پیش تعریف شده در الگوی یادگیری متضاد استاندارد می تواند به عنوان نوعی تخمین نقطه از π π $ noise در نظر گرفته شود.با الهام از مطالعه نظری ، چارچوبی که یک ژنراتور $ π $ noise را برای یادگیری نویز مفید (به جای تخمین) ایجاد می کند ، زیرا افزایش داده ها برای کنتراست ارائه شده است.چارچوب طراحی شده می تواند برای انواع متنوع داده ها اعمال شود و همچنین با مدلهای متضاد موجود کاملاً سازگار است.از تجسم ، با کمال تعجب متوجه می شویم که روش پیشنهادی با موفقیت تقویت های مؤثر را یاد می گیرد.