ترجمه فارسی مقاله دوپانیم: مجموعه داده‌ای از حیوانات همزاد با حاشیه‌نویسی‌های نویزدار از چندین انسان

چکیده

Human annotators typically provide annotated data for training machine learning models, such as neural networks. Yet, human annotations are subject to noise, impairing generalization performances. Methodological research on approaches counteracting noisy annotations requires corresponding datasets for a meaningful empirical evaluation. Consequently, we introduce a novel benchmark dataset, dopanim, consisting of about 15,750 animal images of 15 classes with ground truth labels. For approximately 10,500 of these images, 20 humans provided over 52,000 annotations with an accuracy of circa 67%. Its key attributes include (1) the challenging task of classifying doppelganger animals, (2) human-estimated likelihoods as annotations, and (3) annotator metadata. We benchmark well-known multi-annotator learning approaches using seven variants of this dataset and outline further evaluation use cases such as learning beyond hard class labels and active learning. Our dataset and a comprehensive codebase are publicly available to emulate the data collection process and to reproduce all empirical results.

چکیده به فارسی (ترجمه ماشینی)

حاشیه نویسان انسانی به طور معمول داده های حاشیه نویسی را برای مدلهای یادگیری ماشین آموزش ، مانند شبکه های عصبی ارائه می دهند.با این حال ، حاشیه نویسی های انسانی در معرض سر و صدا قرار می گیرند و عملکردهای عمومی را مختل می کنند.تحقیقات روش شناختی در مورد رویکردهای متضاد حاشیه نویسی پر سر و صدا نیاز به مجموعه داده های مربوطه برای یک ارزیابی تجربی معنی دار دارد.در نتیجه ، ما یک مجموعه داده معیار جدید ، Dopanim را معرفی می کنیم که شامل حدود 15،750 تصویر حیوانات از 15 کلاس با برچسب حقیقت زمین است.برای تقریباً 10،500 از این تصاویر ، 20 انسان بیش از 52،000 حاشیه نویسی را با دقت 67 ٪ در حدود ارائه دادند.ویژگی های اصلی آن شامل (1) وظیفه چالش برانگیز طبقه بندی حیوانات doppelganger ، (2) احتمال تخمین انسانی به عنوان حاشیه نویسی ، و (3) ابرداده حاشیه نویسی است.ما با استفاده از هفت نوع از این مجموعه داده ها ، رویکردهای شناخته شده یادگیری چند آنوتاتور را معیار می کنیم و مواردی را که ارزیابی می کند از مواردی مانند یادگیری فراتر از برچسب های کلاس سخت و یادگیری فعال استفاده می کنیم.مجموعه داده های ما و یک پایگاه کد جامع برای تقلید از فرآیند جمع آوری داده ها و بازتولید کلیه نتایج تجربی در دسترس است.