ترجمه فارسی مقاله توصیف پایداری دینامیکی نزول گرادیان تصادفی در یادگیری بیش پارامتری

چکیده

For overparameterized optimization tasks, such as the ones found in modern machine learning, global minima are generally not unique. In order to understand generalization in these settings, it is vital to study to which minimum an optimization algorithm converges. The possibility of having minima that are unstable under the dynamics imposed by the optimization algorithm limits the potential minima that the algorithm can find. In this paper, we characterize the global minima that are dynamically stable/unstable for both deterministic and stochastic gradient descent (SGD). In particular, we introduce a characteristic Lyapunov exponent which depends on the local dynamics around a global minimum and rigorously prove that the sign of this Lyapunov exponent determines whether SGD can accumulate at the respective global minimum.

چکیده به فارسی (ترجمه ماشینی)

برای کارهای بهینه سازی بیش از حد ، مانند مواردی که در یادگیری ماشین مدرن یافت می شود ، مینیما جهانی به طور کلی منحصر به فرد نیست.به منظور درک تعمیم در این تنظیمات ، مطالعه ای که حداقل یک الگوریتم بهینه سازی همگرا شود ، بسیار مهم است.امکان داشتن حداقل که تحت پویایی تحمیل شده توسط الگوریتم بهینه سازی ناپایدار است ، حداقل بالقوه ای را که الگوریتم می تواند پیدا کند ، محدود می کند.در این مقاله ، ما حداقل جهانی را که از نظر پویا پایدار/ناپایدار برای هر دو شیب تعیین کننده و تصادفی (SGD) است ، توصیف می کنیم.به طور خاص ، ما یک نماینده مشخص لیاپونوف را معرفی می کنیم که به پویایی محلی در اطراف یک حداقل جهانی بستگی دارد و به طور جدی ثابت می کند که نشانه این نماینده لیاپونوف تعیین می کند که آیا SGD می تواند در حداقل جهانی مربوطه جمع شود.