ترجمه فارسی مقاله ایجاد تعادل: تعاملات کاربر مبتنی بر عدم قطعیت در حین حرکت برای قطعه‌بندی بلندمدت اشیاء ویدیویی

چکیده

In this paper, we introduce a variant of video object segmentation (VOS) that bridges interactive and semi-automatic approaches, termed Lazy Video Object Segmentation (ziVOS). In contrast, to both tasks, which handle video object segmentation in an off-line manner (i.e., pre-recorded sequences), we propose through ziVOS to target online recorded sequences. Here, we strive to strike a balance between performance and robustness for long-term scenarios by soliciting user feedback’s on-the-fly during the segmentation process. Hence, we aim to maximize the tracking duration of an object of interest, while requiring minimal user corrections to maintain tracking over an extended period. We propose a competitive baseline, i.e., Lazy-XMem, as a reference for future works in ziVOS. Our proposed approach uses an uncertainty estimation of the tracking state to determine whether a user interaction is necessary to refine the model’s prediction. To quantitatively assess the performance of our method and the user’s workload, we introduce complementary metrics alongside those already established in the field. We evaluate our approach using the recently introduced LVOS dataset, which offers numerous long-term videos. Our code is publicly available at https://github.com/Vujas-Eteph/LazyXMem.

چکیده به فارسی (ترجمه ماشینی)

در این مقاله ، ما نوعی از تقسیم بندی شیء ویدیویی (VOS) را معرفی می کنیم که رویکردهای تعاملی و نیمه اتوماتیک را پل می کند ، به عنوان تقسیم شیء ویدیویی تنبل (Zivos) نامیده می شود.در مقابل ، با هر دو کار ، که تقسیم بندی شیء ویدیویی را به صورت غیر خطی (یعنی توالی های از پیش ضبط شده) انجام می دهند ، ما از طریق Zivos پیشنهاد می کنیم که توالی های ضبط شده آنلاین را هدف قرار دهید.در اینجا ، ما در تلاش هستیم تا با درخواست بازخورد کاربر در طی پرواز در طی فرآیند تقسیم بندی ، تعادل بین عملکرد و استحکام سناریوهای بلند مدت برقرار کنیم.از این رو ، ما هدف ما این است که مدت ردیابی یک شیء مورد علاقه را به حداکثر برسانیم ، در حالی که برای حفظ ردیابی در یک دوره طولانی نیاز به اصلاحات حداقل کاربر داریم.ما یک مبنای رقابتی ، یعنی Lazy-Xmem را به عنوان مرجع برای آثار آینده در Zivos پیشنهاد می کنیم.رویکرد پیشنهادی ما از یک تخمین عدم اطمینان از حالت ردیابی استفاده می کند تا مشخص کند آیا تعامل کاربر برای اصلاح پیش بینی مدل ضروری است.برای ارزیابی کمی عملکرد روش ما و حجم کار کاربر ، معیارهای مکمل را در کنار مواردی که قبلاً در این زمینه ایجاد شده اند معرفی می کنیم.ما رویکرد خود را با استفاده از مجموعه داده LVOS که اخیراً معرفی شده است ، ارزیابی می کنیم ، که فیلم های طولانی مدت زیادی را ارائه می دهد.کد ما به صورت عمومی در https://github.com/vujas-eteph/lazyxmem در دسترس است.