ترجمه فارسی مقاله تقسیم بندی نمونه و ردیابی نمونه آگاهانه 3D در فیلم های خودمحور

چکیده

Egocentric videos present unique challenges for 3D scene understanding due to rapid camera motion, frequent object occlusions, and limited object visibility. This paper introduces a novel approach to instance segmentation and tracking in first-person video that leverages 3D awareness to overcome these obstacles. Our method integrates scene geometry, 3D object centroid tracking, and instance segmentation to create a robust framework for analyzing dynamic egocentric scenes. By incorporating spatial and temporal cues, we achieve superior performance compared to state-of-the-art 2D approaches. Extensive evaluations on the challenging EPIC Fields dataset demonstrate significant improvements across a range of tracking and segmentation consistency metrics. Specifically, our method outperforms the next best performing approach by $7$ points in Association Accuracy (AssA) and $4.5$ points in IDF1 score, while reducing the number of ID switches by $73\%$ to $80\%$ across various object categories. Leveraging our tracked instance segmentations, we showcase downstream applications in 3D object reconstruction and amodal video object segmentation in these egocentric settings.

چکیده به فارسی (ترجمه ماشینی)

فیلم های Egocentric به دلیل حرکت سریع دوربین ، انسداد مکرر شیء و دید محدود شیء ، چالش های منحصر به فردی را برای درک صحنه سه بعدی ارائه می دهند.در این مقاله یک رویکرد جدید به تقسیم بندی و ردیابی نمونه در ویدیوی شخص اول ارائه شده است که از آگاهی سه بعدی برای غلبه بر این موانع استفاده می کند.روش ما هندسه صحنه ، ردیابی سانتروئید شیء سه بعدی و تقسیم بندی نمونه را برای ایجاد یک چارچوب قوی برای تجزیه و تحلیل صحنه های پویا است.با ترکیب نشانه های فضایی و زمانی ، ما در مقایسه با رویکردهای پیشرفته 2D به عملکرد برتر می رسیم.ارزیابی های گسترده در مجموعه داده های Epic Epic به چالش کشیده ، پیشرفت های قابل توجهی را در طیف وسیعی از معیارهای سازگاری ردیابی و تقسیم بندی نشان می دهد.به طور خاص ، روش ما از رویکرد بهترین عملکرد بعدی با 7 دلار امتیاز در صحت انجمن (ASSA) و امتیاز 4.5 دلار در نمره IDF1 استفاده می کند ، در حالی که تعداد سوئیچ های شناسه را با 73 $ \ $ به 80 $ \ $ در دسته های مختلف شیء کاهش می دهد.با استفاده از تقسیم بندی های نمونه ردیابی شده ما ، ما برنامه های پایین دست را در بازسازی شیء سه بعدی و تقسیم شیء ویدیویی آمودال در این تنظیمات محور به نمایش می گذاریم.