ترجمه فارسی مقاله همگرایی الگوریتم های کمینه سازی آگاه به وضوح با استفاده از افزایش اندازه دسته و نرخ یادگیری کاهشی

چکیده

The sharpness-aware minimization (SAM) algorithm and its variants, including gap guided SAM (GSAM), have been successful at improving the generalization capability of deep neural network models by finding flat local minima of the empirical loss in training. Meanwhile, it has been shown theoretically and practically that increasing the batch size or decaying the learning rate avoids sharp local minima of the empirical loss. In this paper, we consider the GSAM algorithm with increasing batch sizes or decaying learning rates, such as cosine annealing or linear learning rate, and theoretically show its convergence. Moreover, we numerically compare SAM (GSAM) with and without an increasing batch size and conclude that using an increasing batch size or decaying learning rate finds flatter local minima than using a constant batch size and learning rate.

چکیده به فارسی (ترجمه ماشینی)

الگوریتم به حداقل رساندن آگاهانه (SAM) و انواع آن ، از جمله GAP هدایت شده SAM (GSAM) ، با یافتن حداقل محلی مسطح از دست دادن تجربی در آموزش ، در بهبود توانایی عمومی سازی مدل های شبکه عصبی عمیق موفق بوده است.در همین حال ، از نظر تئوری و عملی نشان داده شده است که افزایش اندازه دسته یا پوسیدگی نرخ یادگیری از حداقل شدید محلی از دست دادن تجربی جلوگیری می کند.در این مقاله ، ما الگوریتم GSAM را با افزایش اندازه دسته ای یا نرخ یادگیری پوسیدگی ، مانند آنیل شدن کنوانسیون یا میزان یادگیری خطی در نظر می گیریم و از لحاظ نظری همگرایی آن را نشان می دهیم.علاوه بر این ، ما به صورت عددی SAM (GSAM) را با و بدون افزایش اندازه دسته ای مقایسه می کنیم و نتیجه می گیریم که استفاده از یک اندازه دسته ای فزاینده یا نرخ یادگیری پوسیدگی ، حداقل محلی را نسبت به استفاده از اندازه دسته ثابت و نرخ یادگیری پیدا می کند.