ترجمه فارسی مقاله القای زیرنویس‌های محیطی برای زمینه‌سازی زبان ویدیوهای طولانی

چکیده

In this work, we tackle the problem of long-form video-language grounding (VLG). Given a long-form video and a natural language query, a model should temporally localize the precise moment that answers the query. Humans can easily solve VLG tasks, even with arbitrarily long videos, by discarding irrelevant moments using extensive and robust knowledge gained from experience. Unlike humans, existing VLG methods are prone to fall into superficial cues learned from small-scale datasets, even when they are within irrelevant frames. To overcome this challenge, we propose EI-VLG, a VLG method that leverages richer textual information provided by a Multi-modal Large Language Model (MLLM) as a proxy for human experiences, helping to effectively exclude irrelevant frames. We validate the effectiveness of the proposed method via extensive experiments on a challenging EgoNLQ benchmark.

چکیده به فارسی (ترجمه ماشینی)

در این کار ، ما با مشکل زمینی به زبان ویدیویی طولانی (VLG) مقابله می کنیم.با توجه به یک فیلم طولانی و یک پرس و جو در زبان طبیعی ، یک مدل باید به طور موقت لحظه دقیق را که به پرس و جو پاسخ می دهد بومی سازی کند.انسانها با دور انداختن لحظات بی ربط با استفاده از دانش گسترده و قوی به دست آمده از تجربه ، می توانند به راحتی وظایف VLG را حتی با فیلم های خودسرانه طولانی حل کنند.بر خلاف انسان ، روشهای VLG موجود مستعد ابتلا به نشانه های سطحی است که از مجموعه داده های در مقیاس کوچک آموخته می شوند ، حتی اگر در قاب های بی ربط باشند.برای غلبه بر این چالش ، ما EI-VLG ، یک روش VLG را پیشنهاد می کنیم که از اطلاعات متنی غنی تر ارائه شده توسط یک مدل زبان بزرگ چند منظوره (MLLM) به عنوان یک پروکسی برای تجربیات انسانی استفاده می کند و به محرومیت مؤثر قاب های بی ربط کمک می کند.ما اثربخشی روش پیشنهادی را از طریق آزمایش های گسترده بر روی یک معیار Egonlq چالش برانگیز تأیید می کنیم.