ترجمه فارسی مقاله استفاده از LLM برای درک بهتر صحنه‌های سه‌بعدی با واژگان باز در رانندگی خودران

چکیده

This paper introduces a novel method for open-vocabulary 3D scene understanding in autonomous driving by combining Language Embedded 3D Gaussians with Large Language Models (LLMs) for enhanced inference. We propose utilizing LLMs to generate contextually relevant canonical phrases for segmentation and scene interpretation. Our method leverages the contextual and semantic capabilities of LLMs to produce a set of canonical phrases, which are then compared with the language features embedded in the 3D Gaussians. This LLM-guided approach significantly improves zero-shot scene understanding and detection of objects of interest, even in the most challenging or unfamiliar environments. Experimental results on the WayveScenes101 dataset demonstrate that our approach surpasses state-of-the-art methods in terms of accuracy and flexibility for open-vocabulary object detection and segmentation. This work represents a significant advancement towards more intelligent, context-aware autonomous driving systems, effectively bridging 3D scene representation with high-level semantic understanding.

چکیده به فارسی (ترجمه ماشینی)

در این مقاله یک روش جدید برای درک صحنه سه بعدی با نام رکابول در رانندگی خودمختار با ترکیب زبان گاوسی های سه بعدی تعبیه شده با مدل های زبان بزرگ (LLMS) برای استنتاج پیشرفته ارائه شده است.ما استفاده از LLM ها را برای تولید عبارات متعارف متنی برای تقسیم و تفسیر صحنه پیشنهاد می کنیم.روش ما از قابلیت های متنی و معنایی LLMS برای تولید مجموعه ای از عبارات متعارف استفاده می کند ، که سپس با ویژگی های زبان تعبیه شده در گاوسی های سه بعدی مقایسه می شود.این رویکرد با هدایت LLM به طور قابل توجهی درک صحنه و تشخیص صحنه صفر و تشخیص اشیاء مورد علاقه ، حتی در چالش برانگیزترین یا ناآشنا ترین محیط ها را بهبود می بخشد.نتایج تجربی در مجموعه داده های WayVescenes101 نشان می دهد که رویکرد ما از روشهای پیشرفته و انعطاف پذیری برای تشخیص شیء وکبولری باز و تقسیم بندی پیشی می گیرد.این کار نشان دهنده پیشرفت قابل توجهی به سمت سیستم های رانندگی خودمختار هوشمندانه تر و آگاه تر است ، که به طور موثری نمایش صحنه سه بعدی را با درک معنایی سطح بالا پل می زند.