ترجمه فارسی مقاله اولویت‌بندی هم‌ترازی در تقطیر مجموعه داده‌ها

چکیده

Dataset Distillation aims to compress a large dataset into a significantly more compact, synthetic one without compromising the performance of the trained models. To achieve this, existing methods use the agent model to extract information from the target dataset and embed it into the distilled dataset. Consequently, the quality of extracted and embedded information determines the quality of the distilled dataset. In this work, we find that existing methods introduce misaligned information in both information extraction and embedding stages. To alleviate this, we propose Prioritize Alignment in Dataset Distillation (PAD), which aligns information from the following two perspectives. 1) We prune the target dataset according to the compressing ratio to filter the information that can be extracted by the agent model. 2) We use only deep layers of the agent model to perform the distillation to avoid excessively introducing low-level information. This simple strategy effectively filters out misaligned information and brings non-trivial improvement for mainstream matching-based distillation algorithms. Furthermore, built on trajectory matching, textbf{PAD} achieves remarkable improvements on various benchmarks, achieving state-of-the-art performance.

چکیده به فارسی (ترجمه ماشینی)

تقطیر مجموعه داده ها با هدف فشرده سازی یک مجموعه داده بزرگ به یک قطعه کاملاً جمع و جور تر و بدون ایجاد عملکرد مدل های آموزش دیده ، فشرده تر است.برای دستیابی به این هدف ، روشهای موجود از مدل عامل برای استخراج اطلاعات از مجموعه داده هدف استفاده می کنند و آن را در مجموعه داده های مقطر جاسازی می کنند.در نتیجه ، کیفیت اطلاعات استخراج شده و تعبیه شده کیفیت مجموعه داده های مقطر را تعیین می کند.در این کار ، می فهمیم که روشهای موجود اطلاعات نادرست را در هر دو مرحله استخراج اطلاعات و مراحل تعبیه معرفی می کنند.برای کاهش این امر ، ما اولویت بندی تراز در تقطیر مجموعه داده ها (PAD) را پیشنهاد می کنیم ، که اطلاعات را از دو دیدگاه زیر تراز می کند.1) ما مجموعه داده هدف را با توجه به نسبت فشرده سازی هرس می کنیم تا اطلاعاتی را که می توان توسط مدل عامل استخراج کرد ، فیلتر کنیم.2) ما فقط از لایه های عمیق مدل عامل برای انجام تقطیر استفاده می کنیم تا از معرفی بیش از حد اطلاعات سطح پایین جلوگیری کنیم.این استراتژی ساده به طور موثری اطلاعات نادرست را فیلتر می کند و بهبود غیر مهم را برای الگوریتم های تقطیر مبتنی بر تطبیق اصلی به ارمغان می آورد.علاوه بر این ، ساخته شده بر روی تطبیق مسیر ، textbf {pad} به پیشرفت های چشمگیر در معیارهای مختلف ، دستیابی به عملکرد پیشرفته می رسد.