ترجمه فارسی مقاله DisCoM-KD: تقطیر دانش متقابل از طریق بازنمایی جداسازی و یادگیری مخالف

چکیده

Cross-modal knowledge distillation (CMKD) refers to the scenario in which a learning framework must handle training and test data that exhibit a modality mismatch, more precisely, training and test data do not cover the same set of data modalities. Traditional approaches for CMKD are based on a teacher/student paradigm where a teacher is trained on multi-modal data with the aim to successively distill knowledge from a multi-modal teacher to a single-modal student. Despite the widespread adoption of such paradigm, recent research has highlighted its inherent limitations in the context of cross-modal knowledge transfer.Taking a step beyond the teacher/student paradigm, here we introduce a new framework for cross-modal knowledge distillation, named DisCoM-KD (Disentanglement-learning based Cross-Modal Knowledge Distillation), that explicitly models different types of per-modality information with the aim to transfer knowledge from multi-modal data to a single-modal classifier. To this end, DisCoM-KD effectively combines disentanglement representation learning with adversarial domain adaptation to simultaneously extract, foreach modality, domain-invariant, domain-informative and domain-irrelevant features according to a specific downstream task. Unlike the traditional teacher/student paradigm, our framework simultaneously learns all single-modal classifiers, eliminating the need to learn each student model separately as well as the teacher classifier. We evaluated DisCoM-KD on three standard multi-modal benchmarks and compared its behaviourwith recent SOTA knowledge distillation frameworks. The findings clearly demonstrate the effectiveness of DisCoM-KD over competitors considering mismatch scenarios involving both overlapping and non-overlapping modalities. These results offer insights to reconsider the traditional paradigm for distilling information from multi-modal data to single-modal neural networks.

چکیده به فارسی (ترجمه ماشینی)

تقطیر دانش متقاطع (CMKD) به سناریویی اشاره دارد که در آن یک چارچوب یادگیری باید آموزش و آزمایش داده هایی را که نشان می دهد عدم تطابق روش ، دقیق تر ، آموزش و داده های آزمون همان مجموعه ای از روش های داده را پوشش نمی دهد.رویکردهای سنتی برای CMKD مبتنی بر یک الگوی معلم/دانش آموز است که در آن یک معلم در مورد داده های چند مدلی آموزش داده می شود و با هدف تقطیر موفقیت آمیز دانش از یک معلم چند مدلی به یک دانش آموز تکدادی.علیرغم اتخاذ گسترده چنین پارادایم ، تحقیقات اخیر محدودیت های ذاتی آن را در زمینه انتقال دانش متقاطع برجسته برجسته کرده است. با استفاده از یک گام فراتر از الگوی معلم/دانش آموز ، در اینجا ما یک چارچوب جدید برای تقطیر دانش متقاطع را معرفی می کنیم ، به نام Discom-KD (تقطیر دانش متقاطع مبتنی بر یادگیری ، که صریحاً انواع مختلفی از اطلاعات مربوط به هر حالت را با هدف انتقال دانش از داده های چند منظوره به یک طبقه بندی تکدلی تک مدل می کند.برای این منظور ، Discom-KD به طور موثری یادگیری بازنمایی جداسازی را با سازگاری دامنه مخالف برای استخراج همزمان ، روشهای پیش فرض ، دامنه-متغیر ، دامنه-آگاه و دامنه-آیرواژ با توجه به یک کار خاص پایین دست ترکیب می کند.بر خلاف پارادایم معلم/دانش آموز سنتی ، چارچوب ما به طور همزمان همه طبقه بندی های تک مدلی را یاد می گیرد و نیاز به یادگیری هر مدل دانش آموز را به طور جداگانه و همچنین طبقه بندی کننده معلم از بین می برد.ما Discom-KD را در سه معیار چند استاندارد استاندارد ارزیابی کردیم و رفتار آن را با چارچوب های تقطیر دانش SOTA اخیر مقایسه کردیم.این یافته ها به وضوح اثربخشی Discom-KD را نسبت به رقبا با توجه به سناریوهای عدم تطابق شامل روشهای همپوشانی و غیر همپوشانی نشان می دهد.این نتایج بینش هایی را برای تجدید نظر در الگوی سنتی برای تقطیر اطلاعات از داده های چند منظوره به شبکه های عصبی تک حالت ارائه می دهد.