ترجمه فارسی مقاله تکان دادن VLM ها: مقایسه ترانسفورماتورها و مدل های فضایی ساختار یافته برای مدل سازی بینایی و زبان

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

پرداخت اقساطی
در صورت خرید اقساطی هر قسط: 37,500 تومان
۴ قسط ماهانه. بدون سود، چک و ضامن.
پرداخت اقساطی با دیجی‌پی پرداخت اقساطی با ترب‌پی
عنوان مقاله به انگلیسی Shaking Up VLMs: Comparing Transformers and Structured State Space Models for Vision & Language Modeling
عنوان مقاله به فارسی تکان دادن VLM ها: مقایسه ترانسفورماتورها و مدل های فضایی ساختار یافته برای مدل سازی بینایی و زبان
نویسندگان Georgios Pantazopoulos, Malvina Nikandrou, Alessandro Suglia, Oliver Lemon, Arash Eshghi
فرمت مقاله انگلیسی PDF
تعداد صفحات 20
لینک دانلود رایگان مقاله انگلیسی دانلود مقاله
دسته بندی موضوعات Computer Vision and Pattern Recognition,Artificial Intelligence,Machine Learning,چشم انداز رایانه و تشخیص الگوی , هوش مصنوعی , یادگیری ماشین ,
توضیحات Submitted 9 September, 2024; originally announced September 2024.
توضیحات به فارسی ارسال شده در 9 سپتامبر 2024 ؛در ابتدا سپتامبر 2024 اعلام شد.
اطلاعات بیشتر از این مقاله در پایگاه های علمی INSPIRE HEP
NASA ADS
Google Scholar
Semantic Scholar

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

چکیده

This study explores replacing Transformers in Visual Language Models (VLMs) with Mamba, a recent structured state space model (SSM) that demonstrates promising performance in sequence modeling. We test models up to 3B parameters under controlled conditions, showing that Mamba-based VLMs outperforms Transformers-based VLMs in captioning, question answering, and reading comprehension. However, we find that Transformers achieve greater performance in visual grounding and the performance gap widens with scale. We explore two hypotheses to explain this phenomenon: 1) the effect of task-agnostic visual encoding on the updates of the hidden states, and 2) the difficulty in performing visual grounding from the perspective of in-context multimodal retrieval. Our results indicate that a task-aware encoding yields minimal performance gains on grounding, however, Transformers significantly outperform Mamba at in-context multimodal retrieval. Overall, Mamba shows promising performance on tasks where the correct output relies on a summary of the image but struggles when retrieval of explicit information from the context is required.

چکیده به فارسی (ترجمه ماشینی)

این مطالعه به بررسی ترانسفورماتورها در مدل های زبان بصری (VLM) با MAMBA ، یک مدل فضایی حالت ساختاری اخیر (SSM) می پردازد که عملکرد امیدوارکننده را در مدل سازی توالی نشان می دهد.ما مدلها را تا پارامترهای 3B در شرایط کنترل شده آزمایش می کنیم ، نشان می دهیم که VLMS مبتنی بر Mamba از VLM های مبتنی بر ترانسفورماتور در زیرنویس ، پاسخ به سؤال و درک مطلب استفاده می کند.با این حال ، ما می دانیم که ترانسفورماتورها در زمین های بصری به عملکرد بیشتری می رسند و شکاف عملکرد با مقیاس گسترش می یابد.ما دو فرضیه را برای توضیح این پدیده کشف می کنیم: 1) تأثیر رمزگذاری بصری کارگرونی بر به روزرسانی حالتهای پنهان ، و 2) دشواری در انجام زمین های بصری از منظر بازیابی چندمدی در داخل.نتایج ما نشان می دهد که یک رمزگذاری آگاه از کار ، حداقل عملکرد عملکرد را در زمینه پایه گذاری به دست می آورد ، با این حال ، ترانسفورماتورها به طور قابل توجهی از MAMBA در بازیابی چند حالته در متن استفاده می کنند.به طور کلی ، Mamba عملکرد امیدوارکننده ای را در مورد وظایف نشان می دهد که در آن خروجی صحیح به خلاصه ای از تصویر متکی است اما هنگام بازیابی اطلاعات صریح از متن ، تلاش می کند.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.