ترجمه فارسی مقاله افزایش به حداقل رساندن آگاهی از وضوح با یادگیری شعاع اغتشاش

چکیده

Sharpness-aware minimization (SAM) is to improve model generalization by searching for flat minima in the loss landscape. The SAM update consists of one step for computing the perturbation and the other for computing the update gradient. Within the two steps, the choice of the perturbation radius is crucial to the performance of SAM, but finding an appropriate perturbation radius is challenging. In this paper, we propose a bilevel optimization framework called LEarning the perTurbation radiuS (LETS) to learn the perturbation radius for sharpness-aware minimization algorithms. Specifically, in the proposed LETS method, the upper-level problem aims at seeking a good perturbation radius by minimizing the squared generalization gap between the training and validation losses, while the lower-level problem is the SAM optimization problem. Moreover, the LETS method can be combined with any variant of SAM. Experimental results on various architectures and benchmark datasets in computer vision and natural language processing demonstrate the effectiveness of the proposed LETS method in improving the performance of SAM.

چکیده به فارسی (ترجمه ماشینی)

به حداقل رساندن آگاهانه وضوح (SAM) برای بهبود تعمیم مدل با جستجوی حداقل مسطح در منظره ضرر است.به روزرسانی SAM از یک مرحله برای محاسبه آشفتگی و دیگری برای محاسبه شیب به روزرسانی تشکیل شده است.در دو مرحله ، انتخاب شعاع آشفتگی برای عملکرد SAM بسیار مهم است ، اما پیدا کردن یک شعاع آشفتگی مناسب چالش برانگیز است.در این مقاله ، ما یک چارچوب بهینه سازی صفراوی به نام یادگیری شعاع آشفتگی (LETS) را برای یادگیری شعاع آشفتگی برای الگوریتم های به حداقل رساندن وضوح-آگاه ارائه می دهیم.به طور خاص ، در روش LETS پیشنهادی ، مسئله سطح بالا با هدف به حداقل رساندن شکاف تعمیم مربع بین آموزش و ضرر و زیان اعتبار سنجی ، به دنبال شعاع آشفتگی خوب است ، در حالی که مشکل سطح پایین مشکل بهینه سازی SAM است.علاوه بر این ، روش Lets را می توان با هر نوع SAM ترکیب کرد.نتایج تجربی در مورد معماری های مختلف و مجموعه داده های معیار در دید رایانه و پردازش زبان طبیعی ، اثربخشی روش Letted Lets در بهبود عملکرد SAM را نشان می دهد.