ترجمه فارسی مقاله بهینه‌سازی SGD (شتاب‌یافته) برای بهینه‌سازی درجه دوم با ابعاد بالا

چکیده

Stochastic gradient descent (SGD) is a widely used algorithm in machine learning, particularly for neural network training. Recent studies on SGD for canonical quadratic optimization or linear regression show it attains well generalization under suitable high-dimensional settings. However, a fundamental question — for what kinds of high-dimensional learning problems SGD and its accelerated variants can achieve optimality has yet to be well studied. This paper investigates SGD with two essential components in practice: exponentially decaying step size schedule and momentum. We establish the convergence upper bound for momentum accelerated SGD (ASGD) and propose concrete classes of learning problems under which SGD or ASGD achieves min-max optimal convergence rates. The characterization of the target function is based on standard power-law decays in (functional) linear regression. Our results unveil new insights for understanding the learning bias of SGD: (i) SGD is efficient in learning “dense” features where the corresponding weights are subject to an infinity norm constraint; (ii) SGD is efficient for easy problem without suffering from the saturation effect; (iii) momentum can accelerate the convergence rate by order when the learning problem is relatively hard. To our knowledge, this is the first work to clearly identify the optimal boundary of SGD versus ASGD for the problem under mild settings.

چکیده به فارسی (ترجمه ماشینی)

نزول شیب تصادفی (SGD) یک الگوریتم به طور گسترده ای در یادگیری ماشین است ، به ویژه برای آموزش شبکه عصبی.مطالعات اخیر در مورد SGD برای بهینه سازی درجه دوم متعارف یا رگرسیون خطی نشان می دهد که تحت تنظیمات مناسب با ابعاد مناسب به تعمیم خوبی می رسد.با این حال ، یک سؤال اساسی-برای چه نوع مشکلات یادگیری با ابعاد بالا SGD و انواع شتاب آن می توانند بهینه دست یابند که هنوز به خوبی مورد مطالعه قرار نگرفته است.در این مقاله SGD با دو مؤلفه اساسی در عمل بررسی شده است: برنامه اندازه گیری و حرکت به صورت نمایی.ما همگرایی بالایی را برای شتاب SGD (ASGD) تسریع می کنیم و کلاسهای بتونی از مشکلات یادگیری را پیشنهاد می کنیم که تحت آن SGD یا ASGD به نرخ همگرایی بهینه Min-Max می رسد.خصوصیات عملکرد هدف مبتنی بر پوسیدگی استاندارد قانون در رگرسیون خطی (عملکردی) است.نتایج ما از بینش های جدیدی برای درک تعصب یادگیری SGD پرده برداری می کند: (i) SGD در یادگیری ویژگی های “متراکم” کارآمد است که در آن وزنهای مربوطه در معرض محدودیت هنجار بی نهایت هستند.(ب) SGD برای مشکل آسان بدون رنج از اثر اشباع کارآمد است.(iii) حرکت می تواند در هنگام مشکل یادگیری نسبتاً سخت ، میزان همگرایی را با ترتیب تسریع کند.به دانش ما ، این اولین کاری است که به وضوح مرز بهینه SGD در مقابل ASGD را برای مشکل تحت تنظیمات خفیف مشخص می کند.