ترجمه فارسی مقاله خودبرچسب‌گذاری مبتنی بر خوشه‌بندی چندوجهی برای طبقه‌بندی داده‌های چندوجهی

چکیده

Technological advances facilitate the ability to acquire multimodal data, posing a challenge for recognition systems while also providing an opportunity to use the heterogeneous nature of the information to increase the generalization capability of models. An often overlooked issue is the cost of the labeling process, which is typically high due to the need for a significant investment in time and money associated with human experts. Existing semi-supervised learning methods often focus on operating in the feature space created by the fusion of available modalities, neglecting the potential for cross-utilizing complementary information available in each modality. To address this problem, we propose Cross-Modality Clustering-based Self-Labeling (CMCSL). Based on a small set of pre-labeled data, CMCSL groups instances belonging to each modality in the deep feature space and then propagates known labels within the resulting clusters. Next, information about the instances’ class membership in each modality is exchanged based on the Euclidean distance to ensure more accurate labeling. Experimental evaluation conducted on 20 datasets derived from the MM-IMDb dataset indicates that cross-propagation of labels between modalities — especially when the number of pre-labeled instances is small — can allow for more reliable labeling and thus increase the classification performance in each modality.

چکیده به فارسی (ترجمه ماشینی)

پیشرفت های تکنولوژیکی توانایی دستیابی به داده های چند مدلی را تسهیل می کند و یک چالش برای سیستم های شناخت ایجاد می کند و در عین حال فرصتی برای استفاده از ماهیت ناهمگن اطلاعات برای افزایش توانایی تعمیم مدل ها فراهم می کند.مسئله اغلب نادیده گرفته شده هزینه فرآیند برچسب زدن است که به دلیل نیاز به یک سرمایه گذاری قابل توجه در زمان و پول مرتبط با متخصصان انسانی ، معمولاً زیاد است.روشهای یادگیری نیمه تحت نظارت موجود اغلب بر عملکرد در فضای ویژگی ایجاد شده توسط ادغام روشهای موجود متمرکز است و از پتانسیل استفاده از اطلاعات مکمل متقابل موجود در هر روش غافل می شود.برای پرداختن به این مشکل ، ما به خود بخشیدن به خوشه بندی مبتنی بر خوشه بندی (CMCSL) پیشنهاد می کنیم.بر اساس مجموعه کوچکی از داده های پیش از برچسب ، گروه های CMCSL متعلق به هر روش در فضای ویژگی های عمیق و سپس برچسب های شناخته شده را در خوشه های حاصل پخش می کند.در مرحله بعد ، اطلاعات مربوط به عضویت در کلاس نمونه ها در هر روش بر اساس فاصله اقلیدسی برای اطمینان از برچسب زدن دقیق تر رد و بدل می شود.ارزیابی تجربی انجام شده بر روی 20 مجموعه داده حاصل از مجموعه داده MM-IMDB نشان می دهد که تولید متقابل برچسب ها بین روشها-به ویژه هنگامی که تعداد نمونه های از پیش برچسب کوچک باشد-می تواند برچسب زدن قابل اطمینان تر را فراهم کند و در نتیجه عملکرد طبقه بندی را افزایش دهدهر روش