ترجمه فارسی مقاله همگرایی برچسب: تعریف عملکرد بالایی در تشخیص شی از طریق حاشیه نویسی های متناقض

چکیده

Annotation errors are a challenge not only during training of machine learning models, but also during their evaluation. Label variations and inaccuracies in datasets often manifest as contradictory examples that deviate from established labeling conventions. Such inconsistencies, when significant, prevent models from achieving optimal performance on metrics such as mean Average Precision (mAP). We introduce the notion of “label convergence” to describe the highest achievable performance under the constraint of contradictory test annotations, essentially defining an upper bound on model accuracy. Recognizing that noise is an inherent characteristic of all data, our study analyzes five real-world datasets, including the LVIS dataset, to investigate the phenomenon of label convergence. We approximate that label convergence is between 62.63-67.52 mAP@[0.5:0.95:0.05] for LVIS with 95% confidence, attributing these bounds to the presence of real annotation errors. With current state-of-the-art (SOTA) models at the upper end of the label convergence interval for the well-studied LVIS dataset, we conclude that model capacity is sufficient to solve current object detection problems. Therefore, future efforts should focus on three key aspects: (1) updating the problem specification and adjusting evaluation practices to account for unavoidable label noise, (2) creating cleaner data, especially test data, and (3) including multi-annotated data to investigate annotation variation and make these issues visible from the outset.

چکیده به فارسی (ترجمه ماشینی)

خطاهای حاشیه نویسی نه تنها در آموزش مدلهای یادگیری ماشین ، بلکه در طول ارزیابی آنها یک چالش است.تغییرات برچسب و عدم دقت در مجموعه داده ها اغلب به عنوان نمونه های متناقض که از کنوانسیون های برچسب زدن تعیین شده منحرف می شوند ، آشکار می شوند.چنین ناسازگاری ها ، هنگامی که قابل توجه باشد ، مانع از دستیابی به عملکرد بهینه در معیارهایی مانند میانگین میانگین دقت (MAP) می شود.ما مفهوم “همگرایی برچسب” را برای توصیف بالاترین عملکرد قابل دستیابی تحت محدودیت حاشیه نویسی های تست متناقض معرفی می کنیم ، که اساساً یک حد بالایی را در دقت مدل تعریف می کنیم.مطالعه ما با تشخیص اینکه سر و صدا یک ویژگی ذاتی تمام داده ها است ، پنج مجموعه داده در دنیای واقعی ، از جمله مجموعه داده LVIS ، برای بررسی پدیده همگرایی برچسب تجزیه و تحلیل می کند.ما تقریب می دهیم که همگرایی برچسب بین 62.63-67.52 MAP@[0.5: 0.95: 0.05] برای LVS با اطمینان 95 ٪ است و این مرزها را به وجود خطاهای حاشیه نویسی واقعی نسبت می دهد.با استفاده از مدل های پیشرفته فعلی (SOTA) در انتهای بالایی از فاصله همگرایی برچسب برای مجموعه داده LVIS به خوبی مورد مطالعه ، نتیجه می گیریم که ظرفیت مدل برای حل مشکلات فعلی تشخیص شیء کافی است.بنابراین ، تلاش های آینده باید روی سه جنبه اصلی متمرکز شود: (1) به روزرسانی مشخصات مشکل و تنظیم شیوه های ارزیابی برای به حساب کردن نویز برچسب غیرقابل اجتناب ، (2) ایجاد داده های پاک تر ، به ویژه داده های تست ، و (3) از جمله داده های چند حنوتنوع حاشیه نویسی را بررسی کرده و از ابتدا این مسائل را قابل مشاهده کنید.