مقاله پیشرفت آموزش فراگیر: امتیاز دهی به عمق دوگانه موقتی (TDD) برای فیلترینگ پیشرفته مجموعه داده

چکیده

Dataset pruning aims to construct a coreset capable of achieving performance comparable to the original, full dataset. Most existing dataset pruning methods rely on snapshot-based criteria to identify representative samples, often resulting in poor generalization across various pruning and cross-architecture scenarios. Recent studies have addressed this issue by expanding the scope of training dynamics considered, including factors such as forgetting event and probability change, typically using an averaging approach. However, these works struggle to integrate a broader range of training dynamics without overlooking well-generalized samples, which may not be sufficiently highlighted in an averaging manner. In this study, we propose a novel dataset pruning method termed as Temporal Dual-Depth Scoring (TDDS), to tackle this problem. TDDS utilizes a dual-depth strategy to achieve a balance between incorporating extensive training dynamics and identifying representative samples for dataset pruning. In the first depth, we estimate the series of each sample’s individual contributions spanning the training progress, ensuring comprehensive integration of training dynamics. In the second depth, we focus on the variability of the sample-wise contributions identified in the first depth to highlight well-generalized samples. Extensive experiments conducted on CIFAR and ImageNet datasets verify the superiority of TDDS over previous SOTA methods. Specifically on CIFAR-100, our method achieves 54.51% accuracy with only 10% training data, surpassing random selection by 7.83% and other comparison methods by at least 12.69%.

چکیده به فارسی (ترجمه ماشینی)

هرس DataSet با هدف ساختن یک هسته ای که قادر به دستیابی به عملکرد قابل مقایسه با مجموعه داده های اصلی و کامل است.بیشتر روشهای هرس مجموعه داده های موجود برای شناسایی نمونه های نماینده ، به معیارهای مبتنی بر عکس متکی هستند ، که اغلب منجر به تعمیم ضعیف در سناریوهای مختلف هرس و متقاطع می شود.مطالعات اخیر با گسترش دامنه پویایی آموزش در نظر گرفته شده ، از جمله عواملی مانند فراموش کردن رویداد و تغییر احتمال ، به طور معمول با استفاده از یک رویکرد متوسط ، این موضوع را مورد بررسی قرار داده است.با این حال ، این آثار برای ادغام طیف وسیع تری از پویایی آموزش بدون اینکه از نمونه های خوب و ژنرال استفاده کنند ، که ممکن است به اندازه کافی به طور متوسط برجسته نشود ، تلاش می کنند.در این مطالعه ، ما یک روش هرس مجموعه داده جدید را به عنوان امتیاز دهی به عمق دوگانه زمانی (TDDS) ارائه می دهیم تا این مشکل را برطرف کنیم.TDDS از یک استراتژی عمیق دوگانه برای دستیابی به تعادل بین ترکیب پویایی آموزش گسترده و شناسایی نمونه های نماینده برای هرس مجموعه داده استفاده می کند.در عمق اول ، ما مجموعه ای از مشارکتهای فردی هر نمونه را که پیشرفت آموزش را در بر می گیرد ، تخمین می زنیم و از ادغام جامع پویایی آموزش اطمینان می دهیم.در عمق دوم ، ما بر تغییرپذیری مشارکتهای عاقلانه مشخص شده در عمق اول برای برجسته کردن نمونه های خوب ژنرال تمرکز می کنیم.آزمایش های گسترده ای که بر روی مجموعه داده های CIFAR و Imagenet انجام شده است ، برتری TDD ها را نسبت به روشهای قبلی SOTA تأیید می کند.به طور خاص در CIFAR-100 ، روش ما به دقت 54.51 ٪ با تنها 10 ٪ داده های آموزش دست می یابد ، از انتخاب تصادفی با 7.83 ٪ و سایر روش های مقایسه حداقل 12.69 ٪ پیشی می گیرد.