ترجمه فارسی مقاله کشف رده تعمیم یافته چندوجهی

چکیده

Generalized Category Discovery (GCD) aims to classify inputs into both known and novel categories, a task crucial for open-world scientific discoveries. However, current GCD methods are limited to unimodal data, overlooking the inherently multimodal nature of most real-world data. In this work, we extend GCD to a multimodal setting, where inputs from different modalities provide richer and complementary information. Through theoretical analysis and empirical validation, we identify that the key challenge in multimodal GCD lies in effectively aligning heterogeneous information across modalities. To address this, we propose MM-GCD, a novel framework that aligns both the feature and output spaces of different modalities using contrastive learning and distillation techniques. MM-GCD achieves new state-of-the-art performance on the UPMC-Food101 and N24News datasets, surpassing previous methods by 11.5\% and 4.7\%, respectively.

چکیده به فارسی (ترجمه ماشینی)

کشف طبقه بندی عمومی (GCD) با هدف طبقه بندی ورودی ها در هر دو دسته شناخته شده و جدید ، یک کار مهم برای اکتشافات علمی در دنیای باز است.با این حال ، روشهای فعلی GCD محدود به داده های غیرمعمول است ، و مشرف به ماهیت ذاتی چند حالته اکثر داده های دنیای واقعی است.در این کار ، ما GCD را به یک تنظیمات چند حالته گسترش می دهیم ، جایی که ورودی از روشهای مختلف اطلاعات غنی تر و مکمل را ارائه می دهد.از طریق تجزیه و تحلیل نظری و اعتبارسنجی تجربی ، ما تشخیص می دهیم که چالش کلیدی در GCD چند مدلی در تراز کردن اطلاعات ناهمگن به طور مؤثر در روش ها نهفته است.برای پرداختن به این موضوع ، ما MM-GCD را پیشنهاد می کنیم ، یک چارچوب جدید که هم ویژگی و هم فضای خروجی روشهای مختلف را با استفاده از تکنیک های یادگیری متضاد و تقطیر تراز می کند.MM-GCD به عملکرد جدید پیشرفته در مجموعه داده های UPMC-FOOD101 و N24NEWS دست پیدا می کند و به ترتیب از روشهای قبلی 11.5 \ ٪ و 4.7 \ \ بالا می رود.