ترجمه فارسی مقاله ارزیابی تعصب روش در سوال ویدیویی پاسخ به معیارها با مدل های بزرگ زبان چندمودال

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

پرداخت اقساطی
در صورت خرید اقساطی هر قسط: 37,500 تومان
۴ قسط ماهانه. بدون سود، چک و ضامن.
پرداخت اقساطی با دیجی‌پی پرداخت اقساطی با ترب‌پی
عنوان مقاله به انگلیسی Assessing Modality Bias in Video Question Answering Benchmarks with Multimodal Large Language Models
عنوان مقاله به فارسی ارزیابی تعصب روش در سوال ویدیویی پاسخ به معیارها با مدل های بزرگ زبان چندمودال
نویسندگان Jean Park, Kuk Jin Jang, Basam Alasaly, Sriharsha Mopidevi, Andrew Zolensky, Eric Eaton, Insup Lee, Kevin Johnson
فرمت مقاله انگلیسی PDF
تعداد صفحات 15
لینک دانلود رایگان مقاله انگلیسی دانلود مقاله
دسته بندی موضوعات Machine Learning,Artificial Intelligence,Computation and Language,یادگیری ماشین , هوش مصنوعی , محاسبات و زبان ,
توضیحات Submitted 22 August, 2024; originally announced August 2024.
توضیحات به فارسی ارسال شده در 22 اوت 2024 ؛در ابتدا اوت 2024 اعلام شد.
اطلاعات بیشتر از این مقاله در پایگاه های علمی INSPIRE HEP
NASA ADS
Google Scholar
Semantic Scholar

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

چکیده

Multimodal large language models (MLLMs) can simultaneously process visual, textual, and auditory data, capturing insights that complement human analysis. However, existing video question-answering (VidQA) benchmarks and datasets often exhibit a bias toward a single modality, despite the goal of requiring advanced reasoning skills that integrate diverse modalities to answer the queries. In this work, we introduce the modality importance score (MIS) to identify such bias. It is designed to assess which modality embeds the necessary information to answer the question. Additionally, we propose an innovative method using state-of-the-art MLLMs to estimate the modality importance, which can serve as a proxy for human judgments of modality perception. With this MIS, we demonstrate the presence of unimodal bias and the scarcity of genuinely multimodal questions in existing datasets. We further validate the modality importance score with multiple ablation studies to evaluate the performance of MLLMs on permuted feature sets. Our results indicate that current models do not effectively integrate information due to modality imbalance in existing datasets. Our proposed MLLM-derived MIS can guide the curation of modality-balanced datasets that advance multimodal learning and enhance MLLMs' capabilities to understand and utilize synergistic relations across modalities.

چکیده به فارسی (ترجمه ماشینی)

مدل های بزرگ زبان چند حالته (MLLMS) می توانند به طور همزمان داده های بصری ، متنی و شنوایی را پردازش کنند و بینش هایی را که تکمیل تجزیه و تحلیل انسانی است ، ضبط کند.با این حال ، علی رغم هدف نیاز به مهارتهای استدلال پیشرفته که برای پاسخ به پرس و جو ، علی رغم هدف نیاز به مهارتهای استدلال پیشرفته که ادغام روشهای متنوع را برای پاسخ به پرس و جو مورد نیاز دارد ، معیارهای موجود در مورد ویدیویی موجود (VIDQA) غالباً تعصب نسبت به یک روش واحد نشان می دهند.در این کار ، ما نمره اهمیت modeality (MIS) را برای شناسایی چنین تعصب معرفی می کنیم.این طراحی شده است تا ارزیابی کند که کدام روش اطلاعات لازم را برای پاسخ به این سوال تعبیه می کند.علاوه بر این ، ما یک روش نوآورانه با استفاده از MLLM های پیشرفته برای برآورد اهمیت روش ، ارائه می دهیم ، که می تواند به عنوان یک نماینده برای قضاوت های انسانی از ادراک روش باشد.با این MIS ، ما وجود تعصب غیرمعمول و کمبود سؤالات واقعاً چند حالته در مجموعه داده های موجود را نشان می دهیم.ما بیشتر برای ارزیابی عملکرد MLLMS در مجموعه های ویژگی های مجاز ، نمره اهمیت روش را با چندین مطالعه فرسایش تأیید می کنیم.نتایج ما نشان می دهد که مدلهای فعلی به دلیل عدم تعادل روش در مجموعه داده های موجود ، اطلاعات را به طور مؤثر ادغام نمی کنند.MIS مشتق از MLLM پیشنهادی ما می تواند به منظور استفاده از مجموعه داده های متعادل روش که یادگیری چند حالته را پیش می برند و توانایی های MLLMS را برای درک و استفاده از روابط هم افزایی در بین روشها هدایت می کند ، راهنمایی کند.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.