ترجمه فارسی مقاله مدل سازی تصویر نقاب دار: یک نظرسنجی

چکیده

In this work, we survey recent studies on masked image modeling (MIM), an approach that emerged as a powerful self-supervised learning technique in computer vision. The MIM task involves masking some information, e.g. pixels, patches, or even latent representations, and training a model, usually an autoencoder, to predicting the missing information by using the context available in the visible part of the input. We identify and formalize two categories of approaches on how to implement MIM as a pretext task, one based on reconstruction and one based on contrastive learning. Then, we construct a taxonomy and review the most prominent papers in recent years. We complement the manually constructed taxonomy with a dendrogram obtained by applying a hierarchical clustering algorithm. We further identify relevant clusters via manually inspecting the resulting dendrogram. Our review also includes datasets that are commonly used in MIM research. We aggregate the performance results of various masked image modeling methods on the most popular datasets, to facilitate the comparison of competing methods. Finally, we identify research gaps and propose several interesting directions of future work.

چکیده به فارسی (ترجمه ماشینی)

در این کار ، ما مطالعات اخیر را در مورد مدل سازی تصویر نقاب دار (MIM) بررسی می کنیم ، رویکردی که به عنوان یک روش یادگیری قدرتمند خود تحت نظارت در دید رایانه ظاهر شد.کار MIM شامل نقاب زدن به برخی از اطلاعات است ، به عنوان مثالپیکسل ها ، تکه ها ، یا حتی بازنمودهای نهفته ، و آموزش یک مدل ، معمولاً یک اتومبیل ، برای پیش بینی اطلاعات گمشده با استفاده از زمینه موجود در قسمت قابل مشاهده ورودی.ما دو دسته از رویکردها را در مورد نحوه اجرای MIM به عنوان یک کار بهانه ، یکی بر اساس بازسازی و دیگری مبتنی بر یادگیری متضاد شناسایی و رسمی می کنیم.سپس ، ما یک طبقه بندی می سازیم و برجسته ترین مقالات در سالهای اخیر را مرور می کنیم.ما طبقه بندی دستی ساخته شده را با یک دندروگرام به دست آمده با استفاده از الگوریتم خوشه بندی سلسله مراتبی تکمیل می کنیم.ما بیشتر خوشه های مربوطه را از طریق بازرسی دستی دندروگرام حاصل شناسایی می کنیم.بررسی ما همچنین شامل مجموعه داده هایی است که معمولاً در تحقیقات MIM استفاده می شود.ما نتایج عملکرد روشهای مختلف مدل سازی تصویر نقاب شده را در محبوب ترین مجموعه داده ها جمع می کنیم تا مقایسه روشهای رقیب را تسهیل کنیم.سرانجام ، ما شکاف های تحقیق را شناسایی می کنیم و چندین جهت جالب از کارهای آینده را پیشنهاد می کنیم.