ترجمه فارسی مقاله یک معیار بین حوزه‌ای برای یادگیری فعال

چکیده

Active Learning (AL) deals with identifying the most informative samples for labeling to reduce data annotation costs for supervised learning tasks. AL research suffers from the fact that lifts from literature generalize poorly and that only a small number of repetitions of experiments are conducted. To overcome these obstacles, we propose emph{CDALBench}, the first active learning benchmark which includes tasks in computer vision, natural language processing and tabular learning. Furthermore, by providing an efficient, greedy oracle, emph{CDALBench} can be evaluated with 50 runs for each experiment. We show, that both the cross-domain character and a large amount of repetitions are crucial for sophisticated evaluation of AL research. Concretely, we show that the superiority of specific methods varies over the different domains, making it important to evaluate Active Learning with a cross-domain benchmark. Additionally, we show that having a large amount of runs is crucial. With only conducting three runs as often done in the literature, the superiority of specific methods can strongly vary with the specific runs. This effect is so strong, that, depending on the seed, even a well-established method’s performance can be significantly better and significantly worse than random for the same dataset.

چکیده به فارسی (ترجمه ماشینی)

یادگیری فعال (AL) به شناسایی آموزنده ترین نمونه ها برای برچسب زدن برای کاهش هزینه های حاشیه نویسی داده برای کارهای یادگیری نظارت شده می پردازد.تحقیقات AL از این واقعیت رنج می برد که از ادبیات بلند می شود که ضعیف است و تنها تعداد کمی از تکرارهای آزمایشات انجام می شود.برای غلبه بر این موانع ، ما emf {cdalbench} را پیشنهاد می کنیم ، اولین معیار یادگیری فعال که شامل وظایف در دید رایانه ، پردازش زبان طبیعی و یادگیری جدولی است.علاوه بر این ، با تهیه یک اوراکل کارآمد و حریص ، emph {cdalbench} با 50 اجرا برای هر آزمایش قابل ارزیابی است.ما نشان می دهیم که هم شخصیت دامنه متقابل و هم تعداد زیادی تکرار برای ارزیابی پیشرفته تحقیقات AL بسیار مهم است.به طور واضح ، ما نشان می دهیم که برتری روشهای خاص در حوزه های مختلف متفاوت است و ارزیابی یادگیری فعال با یک معیار دامنه متقابل را مهم می کند.علاوه بر این ، ما نشان می دهیم که داشتن مقدار زیادی از دویدن بسیار مهم است.تنها با انجام سه اجرا همانطور که اغلب در ادبیات انجام می شود ، برتری روشهای خاص می تواند با اجرای خاص متفاوت باشد.این اثر چنان قوی است ، که بسته به بذر ، حتی عملکرد یک روش تثبیت شده می تواند به طور قابل توجهی بهتر و به طور قابل توجهی بدتر از تصادفی برای همان مجموعه داده باشد.