ترجمه فارسی مقاله نرخ‌های همگرایی روش گرادیان تصادفی با دنباله‌های مستقل از اندازه گام و وزن تکانه

چکیده

In large-scale learning algorithms, the momentum term is usually included in the stochastic sub-gradient method to improve the learning speed because it can navigate ravines efficiently to reach a local minimum. However, step-size and momentum weight hyper-parameters must be appropriately tuned to optimize convergence. We thus analyze the convergence rate using stochastic programming with Polyak’s acceleration of two commonly used step-size learning rates: “diminishing-to-zero” and “constant-and-drop” (where the sequence is divided into stages and a constant step-size is applied at each stage) under strongly convex functions over a compact convex set with bounded sub-gradients. For the former, we show that the convergence rate can be written as a product of exponential in step-size and polynomial in momentum weight. Our analysis justifies the convergence of using the default momentum weight setting and the diminishing-to-zero step-size sequence in large-scale machine learning software. For the latter, we present the condition for the momentum weight sequence to converge at each stage.

چکیده به فارسی (ترجمه ماشینی)

در الگوریتم های یادگیری در مقیاس بزرگ ، اصطلاح حرکت معمولاً در روش زیر شغلی تصادفی برای بهبود سرعت یادگیری گنجانده می شود زیرا می تواند به سمت دره ها به طور مؤثر حرکت کند تا به حداقل محلی برسد.با این حال ، برای بهینه سازی همگرایی ، پارامترهای بیش از حد وزن و اندازه و حرکت باید به طور مناسب تنظیم شوند.بنابراین ، ما میزان همگرایی را با استفاده از برنامه نویسی تصادفی با شتاب Polyak از دو نرخ یادگیری اندازه گیری متداول به اندازه گیری تجزیه و تحلیل می کنیم: “ کاهش به صفر “و` ثابت و رها کردن “(جایی که دنباله به مراحل تقسیم می شود و ثابت استاندازه گام در هر مرحله اعمال می شود) تحت توابع به شدت محدب بر روی یک مجموعه محدب جمع و جور با زیر گروههای محدود.برای سابق ، ما نشان می دهیم که میزان همگرایی را می توان به عنوان محصولی از نمایی در اندازه گام و چند جمله ای در وزن حرکت نوشت.تجزیه و تحلیل ما همگرایی استفاده از تنظیم وزن پیش فرض حرکت و دنباله اندازه گام به گام به صفر را در نرم افزار یادگیری ماشین در مقیاس بزرگ توجیه می کند.برای دومی ، ما شرایط را برای توالی وزن حرکت در هر مرحله ارائه می دهیم.