ترجمه فارسی مقاله ادغام روایت‌های صوتی برای تقویت تعمیم دامنه در تشخیص اقدام اول شخص چندوجهی

چکیده

First-person activity recognition is rapidly growing due to the widespread use of wearable cameras but faces challenges from domain shifts across different environments, such as varying objects or background scenes. We propose a multimodal framework that improves domain generalization by integrating motion, audio, and appearance features. Key contributions include analyzing the resilience of audio and motion features to domain shifts, using audio narrations for enhanced audio-text alignment, and applying consistency ratings between audio and visual narrations to optimize the impact of audio in recognition during training. Our approach achieves state-of-the-art performance on the ARGO1M dataset, effectively generalizing across unseen scenarios and locations.

چکیده به فارسی (ترجمه ماشینی)

تشخیص فعالیت شخص اول به دلیل استفاده گسترده از دوربین های پوشیدنی به سرعت در حال رشد است اما با تغییر دامنه در محیط های مختلف مانند اشیاء مختلف یا صحنه های پس زمینه با چالش هایی روبرو است.ما یک چارچوب چند حالته را پیشنهاد می کنیم که با ادغام ویژگی های حرکت ، صوتی و ظاهر ، تعمیم دامنه را بهبود می بخشد.مشارکتهای کلیدی شامل تجزیه و تحلیل تاب آوری ویژگی های صوتی و حرکتی در تغییر دامنه ، استفاده از روایات صوتی برای تراز متن صوتی پیشرفته و استفاده از رتبه بندی قوام بین روایت های صوتی و تصویری برای بهینه سازی تأثیر صدا در تشخیص در طول آموزش است.رویکرد ما به عملکرد پیشرفته در مجموعه داده های ARGO1M می رسد ، و به طور موثری در سناریوها و مکان های غیب تعمیم می یابد.