ترجمه فارسی مقاله استفاده از اطلاعات اضافی در یادگیری بازنمایی متضاد

چکیده

Contrastive representation learning, which aims to learnthe shared information between different views of unlabeled data by maximizing the mutual information between them, has shown its powerful competence in self-supervised learning for downstream tasks. However, recent works have demonstrated that more estimated mutual information does not guarantee better performance in different downstream tasks. Such works inspire us to conjecture that the learned representations not only maintain task-relevant information from unlabeled data but also carry task-irrelevant information which is superfluous for downstream tasks, thus leading to performance degeneration. In this paper we show that superfluous information does exist during the conventional contrastive learning framework, and further design a new objective, namely SuperInfo, to learn robust representations by a linear combination of both predictive and superfluous information. Besides, we notice that it is feasible to tune the coefficients of introduced losses to discard task-irrelevant information, while keeping partial non-shared task-relevant information according to our SuperInfo loss.We demonstrate that learning with our loss can often outperform the traditional contrastive learning approaches on image classification, object detection and instance segmentation tasks with significant improvements.

چکیده به فارسی (ترجمه ماشینی)

یادگیری بازنمایی متضاد ، که با هدف یادگیری اطلاعات مشترک بین دیدگاههای مختلف داده های بدون برچسب با به حداکثر رساندن اطلاعات متقابل بین آنها ، صلاحیت قدرتمند خود را در یادگیری خود سنجی برای کارهای پایین دست نشان داده است.با این حال ، آثار اخیر نشان داده اند که اطلاعات متقابل تخمین زده شده بیشتر عملکرد بهتر در کارهای مختلف پایین دست را تضمین نمی کند.چنین آثاری به ما الهام می بخشد تا حدس بزنیم که بازنمایی های آموخته شده نه تنها اطلاعات مربوط به کار را از داده های بدون برچسب حفظ می کنند بلکه اطلاعات مربوط به کارگروه را نیز حمل می کنند که برای کارهای پایین دست اضافی است ، بنابراین منجر به انحطاط عملکرد می شود.در این مقاله نشان می دهیم که اطلاعات اضافی در طول چارچوب یادگیری متضاد متعارف وجود دارد ، و یک هدف جدید ، یعنی SuperInfo را برای یادگیری بازنمایی های قوی توسط یک ترکیب خطی از اطلاعات پیش بینی کننده و اضافی طراحی می کند.علاوه بر این ، ما متوجه می شویم که تنظیم ضرایب ضرر های معرفی شده برای دور انداختن اطلاعات با کارگروه ، ضمن نگه داشتن اطلاعات مربوط به کار غیر مشترک با توجه به ضرر Superinfo ما امکان پذیر است. ما نشان می دهیم که یادگیری با ضرر ما اغلب می تواند از سنتی بهتر باشدرویکردهای یادگیری متضاد در طبقه بندی تصویر ، تشخیص شیء و وظایف تقسیم بندی نمونه با پیشرفت های چشمگیر.