ترجمه فارسی مقاله کاهش سختی تعمیم‌دهنده‌های قوی با استفاده از صعود-نزولی نرم

چکیده

While the traditional formulation of machine learning tasks is in terms of performance on average, in practice we are often interested in how well a trained model performs on rare or difficult data points at test time. To achieve more robust and balanced generalization, methods applying sharpness-aware minimization to a subset of worst-case examples have proven successful for image classification tasks, but only using deep neural networks in a scenario where the most difficult points are also the least common. In this work, we show how such a strategy can dramatically break down under more diverse models, and as a more robust alternative, instead of typical sharpness we propose and evaluate a training criterion which penalizes poor loss concentration, which can be easily combined with loss transformations such as CVaR or DRO that control tail emphasis.

چکیده به فارسی (ترجمه ماشینی)

در حالی که فرمولاسیون سنتی وظایف یادگیری ماشین به طور متوسط ​​از نظر عملکرد است ، در عمل ما اغلب علاقه مندیم که یک مدل آموزش دیده در زمان آزمون چگونه عملکردی را بر روی نقاط داده نادر یا دشوار انجام دهد.برای دستیابی به تعمیم قوی تر و متعادل تر ، روش هایی با استفاده از به حداقل رساندن وضوح در زیر مجموعه ای از نمونه های بدترین حالت ، برای کارهای طبقه بندی تصویر موفقیت آمیز بوده است ، اما فقط استفاده از شبکه های عصبی عمیق در سناریویی که در آن سخت ترین نقاط نیز کمترین رایج است.در این کار ، ما نشان می دهیم که چگونه چنین استراتژی می تواند به طور چشمگیری در مدلهای متنوع تر تجزیه شود ، و به عنوان یک جایگزین قوی تر ، به جای وضوح معمولی ، ما یک معیار تمرینی را ارائه می دهیم و ارزیابی می کنیم که غلظت ضرر ضعیف را مجازات می کند ، که می تواند به راحتی با ضرر ترکیب شودتحولات مانند CVAR یا DRO که تأکید دم را کنترل می کنند.