| عنوان مقاله به انگلیسی | On the Audio Hallucinations in Large Audio-Video Language Models |
| عنوان مقاله به فارسی | در مورد توهمات صوتی در مدل های بزرگ زبانی صوتی-تصویری |
| نویسندگان | Taichi Nishimura, Shota Nakada, Masayoshi Kondo |
| زبان مقاله | انگلیسی |
| فرمت مقاله: | |
| چکیده | Large audio-video language models can generate descriptions for both video and audio. However, they sometimes ignore audio content, producing audio descriptions solely reliant on visual information. This paper refers to this as audio hallucinations and analyzes them in large audio-video language models. We gather 1,000 sentences by inquiring about audio information and annotate them whether they contain hallucinations. If a sentence is hallucinated, we also categorize the type of hallucination. The results reveal that 332 sentences are hallucinated with distinct trends observed in nouns and verbs for each hallucination type. Based on this, we tackle a task of audio hallucination classification using pre-trained audio-text models in the zero-shot and fine-tuning settings. Our experimental results reveal that the zero-shot models achieve higher performance (52.2% in F1) than the random (40.3%) and the fine-tuning models achieve 87.9%, outperforming the zero-shot models. |
| تعداد صفحات | 6 |
| چکیده به فارسی (ترجمه ماشینی) | مدل های بزرگ زبان صوتی و ویدئویی می توانند توضیحاتی را برای هر دو فیلم و صوتی ایجاد کنند.با این حال ، آنها گاهی اوقات محتوای صوتی را نادیده می گیرند ، و توضیحات صوتی را صرفاً به اطلاعات بصری متکی می کنند.این مقاله از این به عنوان توهم صوتی یاد می کند و آنها را در مدل های بزرگ زبان صوتی و تصویری تجزیه و تحلیل می کند.ما با پرس و جو در مورد اطلاعات صوتی 1000 جمله جمع می کنیم و آیا آنها شامل توهم هستند.اگر یک جمله توهم شود ، ما نوع توهم را نیز طبقه بندی می کنیم.نتایج نشان می دهد که 332 جمله با روندهای مشخص مشاهده شده در اسم و افعال برای هر نوع توهم توهم می شوند.بر این اساس ، ما با استفاده از مدل های صوتی از قبل آموزش دیده در تنظیمات صفر و تنظیم دقیق ، وظیفه طبقه بندی توهم صوتی را بر عهده داریم.نتایج تجربی ما نشان می دهد که مدل های صفر-شات نسبت به تصادفی (40.3 ٪) به عملکرد بالاتر (52.2 ٪ در F1) دست می یابند و مدل های تنظیم دقیق به 87.9 ٪ می رسند و از مدل های صفر استفاده می کنند. |
| دسته بندی موضوعات | Multimedia,Computation and Language,Computer Vision and Pattern Recognition,Sound,Audio and Speech Processing,چندرسانه ای ، محاسبات و زبان ، دید رایانه و تشخیص الگوی ، صدا ، صدا و گفتار ، |
| توضیحات | Submitted 18 January, 2024; originally announced January 2024. , Comments: 6 pages |
| توضیحات به فارسی | ارائه شده در 18 ژانویه 2024 ؛در ابتدا ژانویه 2024 اعلام شد ، نظرات: 6 صفحه |
📚 محتوای این محصول آموزشی (پکیج کامل)
علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیقتر و تسلط کامل بر مباحث مجموعهای از کتابهای آموزشی نیز ارائه میشود.
-
کتاب صدها نکته فارسی (خودمونی) – نسخه PDF — زبان ساده و کاربردی
مشاهده نمونه نسخه نکات ساده -
کتاب صدها نکته رسمی فارسی – نسخه PDF — نگارش استاندارد و علمی
مشاهده نمونه نسخه نکات رسمی -
کتاب صدها پرسش و پاسخ تشریحی – نسخه PDF
— هر سؤال همراه با پاسخ کامل برای درک عمیق مفاهیم
مشاهده نمونه نسخه پرسش و پاسخ -
کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع -
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
- این محصول به صورت فایل دانلودی کامل ارائه میشود.
- توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
- دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
- برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
- اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی:
واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248
تلگرام: @ma_limbs
نقد و بررسیها
هنوز بررسیای ثبت نشده است.