ترجمه فارسی مقاله به حداکثر رساندن اطلاعات V برای مدل های پایه برتر پیش از آموزش

چکیده

Pre-training foundation models on large-scale datasets demonstrates exceptional performance. However, recent research questions this traditional notion, exploring whether an increase in pre-training data always leads to enhanced model performance. To address this issue, data-effective learning approaches have been introduced. However, current methods in this area lack a clear standard for sample selection. Our experiments reveal that by maximizing V-information, sample selection can be framed as an optimization problem, enabling effective improvement in model performance even with fewer samples. Under this guidance, we develop an optimal data-effective learning method (OptiDEL) to maximize V-information. The OptiDEL method generates hard samples to achieve or even exceed the performance of models trained on the full dataset while using substantially less data. We compare the OptiDEL method with state-of-the-art approaches finding that OptiDEL consistently outperforms existing approaches across different datasets, with foundation models trained on only 5% of the pre-training data surpassing the performance of those trained on the full dataset.

چکیده به فارسی (ترجمه ماشینی)

مدل های پایه قبل از آموزش در مجموعه داده های در مقیاس بزرگ عملکرد استثنایی را نشان می دهد.با این حال ، تحقیقات اخیر این مفهوم سنتی را سؤال می کند ، و بررسی می کند که آیا افزایش داده های قبل از آموزش همیشه منجر به افزایش عملکرد مدل می شود.برای پرداختن به این مسئله ، رویکردهای یادگیری با داده های داده معرفی شده است.با این حال ، روش های فعلی در این زمینه فاقد استاندارد روشنی برای انتخاب نمونه است.آزمایشات ما نشان می دهد که با به حداکثر رساندن اطلاعات V-inform ، انتخاب نمونه می تواند به عنوان یک مشکل بهینه سازی قاب بندی شود ، و امکان بهبود مؤثر در عملکرد مدل را حتی با نمونه های کمتری فراهم می کند.براساس این راهنمایی ، ما یک روش یادگیری بهینه و کارآیی داده (OPTIDEL) برای به حداکثر رساندن اطلاعات V ایجاد می کنیم.روش Optidel نمونه های سختی را برای دستیابی یا حتی از عملکرد مدل های آموزش داده شده در مجموعه داده کامل در حالی که از داده های قابل ملاحظه ای کمتری استفاده می کند ، ایجاد می کند.ما روش Optidel را با رویکردهای پیشرفته مقایسه می کنیم و می دانیم که Optidel به طور مداوم از رویکردهای موجود در مجموعه داده های مختلف بهتر عمل می کند ، با مدل های بنیادی که تنها 5 ٪ از داده های قبل از آموزش را پشت سر می گذارد و از عملکرد کسانی که در مجموعه داده های کامل آموزش دیده اند.