ترجمه فارسی مقاله تشخیص احساسات چند میکروفونی و چند وجهی در محیط پرانرژی

چکیده

This paper presents a Multi-modal Emotion Recognition (MER) system designed to enhance emotion recognition accuracy in challenging acoustic conditions. Our approach combines a modified and extended Hierarchical Token-semantic Audio Transformer (HTS-AT) for multi-channel audio processing with an R(2+1)D Convolutional Neural Networks (CNN) model for video analysis. We evaluate our proposed method on a reverberated version of the Ryerson audio-visual database of emotional speech and song (RAVDESS) dataset using synthetic and real-world Room Impulse Responsess (RIRs). Our results demonstrate that integrating audio and video modalities yields superior performance compared to uni-modal approaches, especially in challenging acoustic conditions. Moreover, we show that the multimodal (audiovisual) approach that utilizes multiple microphones outperforms its single-microphone counterpart.

چکیده به فارسی (ترجمه ماشینی)

در این مقاله یک سیستم تشخیص احساسات چند منظوره (MER) طراحی شده است که به منظور تقویت دقت تشخیص احساسات در شرایط صوتی به چالش کشیده شده است.رویکرد ما ترکیبی از ترانسفورماتور صوتی و معنایی سلسله مراتبی اصلاح شده (HTS-AT) برای پردازش صوتی چند کانال با مدل R (2+1) D شبکه های عصبی Convolutional (CNN) برای تجزیه و تحلیل فیلم است.ما روش پیشنهادی خود را در یک نسخه برجسته از پایگاه داده صوتی و تصویری Ryerson از مجموعه داده های گفتار و آهنگ (RAVDESS) با استفاده از پاسخ به انگیزه اتاق مصنوعی و واقعی (RIRS) ارزیابی می کنیم.نتایج ما نشان می دهد که ادغام روشهای صوتی و تصویری عملکرد برتر را در مقایسه با رویکردهای یکدست ، به ویژه در شرایط آکوستیک چالش برانگیز ، به دست می آورد.علاوه بر این ، ما نشان می دهیم که رویکرد چند حالته (سمعی و بصری) که از میکروفن های متعدد استفاده می کند ، از همتای تک میکروفون خود بهتر است.