ترجمه فارسی مقاله محاسبات عاطفی چند مدلی مبتنی بر ویدیویی مبتنی بر ویدیویی محور پایان به پایان

چکیده

In the pathway toward Artificial General Intelligence (AGI), understanding human’s affection is essential to enhance machine’s cognition abilities. For achieving more sensual human-AI interaction, Multimodal Affective Computing (MAC) in human-spoken videos has attracted increasing attention. However, previous methods are mainly devoted to designing multimodal fusion algorithms, suffering from two issues: semantic imbalance caused by diverse pre-processing operations and semantic mismatch raised by inconsistent affection content contained in different modalities comparing with the multimodal ground truth. Besides, the usage of manual features extractors make they fail in building end-to-end pipeline for multiple MAC downstream tasks. To address above challenges, we propose a novel end-to-end framework named SemanticMAC to compute multimodal semantic-centric affection for human-spoken videos. We firstly employ pre-trained Transformer model in multimodal data pre-processing and design Affective Perceiver module to capture unimodal affective information. Moreover, we present a semantic-centric approach to unify multimodal representation learning in three ways, including gated feature interaction, multi-task pseudo label generation, and intra-/inter-sample contrastive learning. Finally, SemanticMAC effectively learn specific- and shared-semantic representations in the guidance of semantic-centric labels. Extensive experimental results demonstrate that our approach surpass the state-of-the-art methods on 7 public datasets in four MAC downstream tasks.

چکیده به فارسی (ترجمه ماشینی)

در مسیر به سمت هوش عمومی مصنوعی (AGI) ، درک محبت انسان برای تقویت توانایی های شناخت دستگاه ضروری است.برای دستیابی به تعامل حسی تر انسان و آه ، محاسبات عاطفی چند حالته (MAC) در فیلم های گفتاری انسان توجه فزاینده ای را به خود جلب کرده است.با این حال ، روشهای قبلی عمدتاً به طراحی الگوریتم های فیوژن چندمودال اختصاص داده شده است ، که از دو موضوع رنج می برند: عدم تعادل معنایی ناشی از عملیات متنوع پیش پردازش و عدم تطابق معنایی ناشی از محتوای محبت متناقض که در مقایسه با حقیقت زمین چندمودالی وجود دارد.علاوه بر این ، استفاده از ویژگی های کتابچه راهنمای کاربر باعث می شود که آنها در ساخت خط لوله پایان به پایان برای چندین کار در پایین دست MAC شکست بخورند.برای پرداختن به چالش های فوق ، ما یک چارچوب پایان به پایان به نام SemanticMac را برای محاسبه محبت معنایی چند مدلی محور برای فیلم های گفتاری انسان پیشنهاد می کنیم.ما در مرحله اول از مدل ترانسفورماتور از قبل آموزش دیده در داده های چند حالته پیش پردازش و طراحی ماژول Perceiver عاطفی برای گرفتن اطلاعات عاطفی غیرمجاز استفاده می کنیم.علاوه بر این ، ما یک رویکرد معنایی محور برای متحد کردن یادگیری بازنمایی چندمودال از سه روش ، از جمله تعامل ویژگی های دروازه ، تولید شبه چند کاره و یادگیری متضاد داخل/نمونه ارائه می دهیم.سرانجام ، معنایی به طور موثری بازنمایی های معنایی خاص و مشترک را در راهنمایی برچسب های معنایی محور یاد می گیرد.نتایج تجربی گسترده نشان می دهد که رویکرد ما از روشهای پیشرفته در 7 مجموعه داده عمومی در چهار کار پایین دست MAC فراتر می رود.