ترجمه فارسی مقاله یادگیری بازنمایی بدون نظارت با تطبیق متوازن توجه به خود

چکیده

Many leading self-supervised methods for unsupervised representation learning, in particular those for embedding image features, are built on variants of the instance discrimination task, whose optimization is known to be prone to instabilities that can lead to feature collapse. Different techniques have been devised to circumvent this issue, including the use of negative pairs with different contrastive losses, the use of external memory banks, and breaking of symmetry by using separate encoding networks with possibly different structures. Our method, termed BAM, rather than directly matching features of different views (augmentations) of input images, is based on matching their self-attention vectors, which are the distributions of similarities to the entire set of augmented images of a batch. We obtain rich representations and avoid feature collapse by minimizing a loss that matches these distributions to their globally balanced and entropy regularized version, which is obtained through a simple self-optimal-transport computation. We ablate and verify our method through a wide set of experiments that show competitive performance with leading methods on both semi-supervised and transfer-learning benchmarks. Our implementation and pre-trained models are available at github.com/DanielShalam/BAM .

چکیده به فارسی (ترجمه ماشینی)

بسیاری از روشهای پیشرو خود تحت نظارت برای یادگیری بازنمایی بدون نظارت ، به ویژه مواردی که برای تعبیه ویژگی های تصویر وجود دارد ، بر روی انواع کار تبعیض نمونه ساخته شده اند ، که بهینه سازی آنها شناخته شده است که مستعد ابتلای است که می تواند منجر به فروپاشی ویژگی شود.تکنیک های مختلفی برای دور زدن این مسئله ابداع شده است ، از جمله استفاده از جفت های منفی با ضررهای متضاد مختلف ، استفاده از بانکهای حافظه خارجی و شکستن تقارن با استفاده از شبکه های رمزگذاری جداگانه با ساختارهای احتمالاً متفاوت.روش ما ، BAM نامیده می شود ، نه اینکه ویژگی های مستقیم از دیدگاه های مختلف (تقویت) تصاویر ورودی را تطبیق دهد ، مبتنی بر تطبیق بردارهای خودآگاهی آنها است که توزیع شباهت ها به کل مجموعه تصاویر افزوده یک دسته است.ما بازنمودهای غنی را بدست می آوریم و با به حداقل رساندن ضرر و زیان که با این توزیع ها با نسخه منظم و متعادل و آنتروپی آنها مطابقت دارد ، از سقوط ویژگی جلوگیری می کنیم ، که از طریق یک محاسبات ساده و با نتیجه خود به دست می آید.ما روش خود را از طریق مجموعه گسترده ای از آزمایشات که عملکرد رقابتی را با روش های پیشرو در هر دو معیار نیمه تحت نظارت و یادگیری نشان می دهد ، ابطال و تأیید می کنیم.مدلهای اجرای و پیش ساخته ما در github.com/danielshalam/bam در دسترس هستند.