ترجمه فارسی مقاله تناظر خشن، درک فضازمان سه‌بعدی را در مدل زبانی چندوجهی ایجاد می‌کند

چکیده

Multimodal language models (MLLMs) are increasingly being implemented in real-world environments, necessitating their ability to interpret 3D spaces and comprehend temporal dynamics. Despite their potential, current top models within our community still fall short in adequately understanding spatial and temporal dimensions. We introduce Coarse Correspondence, a simple, training-free, effective, and general-purpose visual prompting method to elicit 3D and temporal understanding in multimodal LLMs. Our method uses a lightweight tracking model to find object correspondences between frames in a video or between sets of image viewpoints. It selects the most frequent object instances and visualizes them with markers with unique IDs in the image. With this simple approach, we achieve state-of-the-art results on 3D understanding benchmarks including ScanQA (+20.5%) and a subset of OpenEQA (+9.7%), and on long-form video benchmarks such as EgoSchema (+6.0%). We also curate a small diagnostic dataset to evaluate whether MLLMs can reason about space from a described viewpoint other than the camera viewpoint. Again, Coarse Correspondence improves spatial perspective-taking abilities but we highlight that MLLMs struggle with this task. Together, we demonstrate that our simple prompting method can significantly aid downstream tasks that require 3D or temporal reasoning.

چکیده به فارسی (ترجمه ماشینی)

مدل های زبان چند حالته (MLLMS) به طور فزاینده ای در محیط های دنیای واقعی اجرا می شوند و به توانایی آنها در تفسیر فضاهای سه بعدی و درک پویایی زمانی نیاز دارند.علیرغم پتانسیل های آنها ، مدل های برتر فعلی در جامعه ما هنوز در درک کافی ابعاد مکانی و زمانی کم می شوند.ما مکاتبات درشت ، یک روش ساده ، بدون آموزش ، مؤثر و با هدف کلی را برای استخراج درک سه بعدی و زمانی در LLM های چند مدلی معرفی می کنیم.روش ما از یک مدل ردیابی سبک برای یافتن مکاتبات شیء بین فریم ها در یک فیلم یا بین مجموعه دیدگاه های تصویر استفاده می کند.این متداول ترین نمونه های شیء را انتخاب می کند و آنها را با نشانگرهایی با شناسه های منحصر به فرد در تصویر تجسم می کند.با این رویکرد ساده ، ما به نتایج پیشرفته در معیارهای درک سه بعدی از جمله ScanQA (5/20 ٪) و یک زیر مجموعه از Openeqa (0.9 ٪) و در معیارهای ویدیویی با فرم بلند مانند Egoschema (به دست می آوریم (+6.0 ٪).ما همچنین یک مجموعه داده تشخیصی کوچک را برای ارزیابی اینکه آیا MLLMS می تواند در مورد فضا از دیدگاه توصیف شده غیر از دیدگاه دوربین استدلال کند ، ارائه می دهیم.باز هم ، مکاتبات درشت توانایی های مکمل مکانی را بهبود می بخشد ، اما ما برجسته می کنیم که MLLMS با این کار مبارزه می کند.با هم ، ما نشان می دهیم که روش ساده سریع ما می تواند به کارهای پایین دست که به استدلال سه بعدی یا زمانی نیاز دارند ، کمک کند.