ترجمه فارسی مقاله SGD محلی برای مشکلات نزدیک به درجه دوم: بهبود همگرایی تحت شرایط نویز نامحدود

چکیده

Distributed optimization plays an important role in modern large-scale machine learning and data processing systems by optimizing the utilization of computational resources. One of the classical and popular approaches is Local Stochastic Gradient Descent (Local SGD), characterized by multiple local updates before averaging, which is particularly useful in distributed environments to reduce communication bottlenecks and improve scalability. A typical feature of this method is the dependence on the frequency of communications. But in the case of a quadratic target function with homogeneous data distribution over all devices, the influence of frequency of communications vanishes. As a natural consequence, subsequent studies include the assumption of a Lipschitz Hessian, as this indicates the similarity of the optimized function to a quadratic one to some extent. However, in order to extend the completeness of the Local SGD theory and unlock its potential, in this paper we abandon the Lipschitz Hessian assumption by introducing a new concept of $\textit{approximate quadraticity}$. This assumption gives a new perspective on problems that have near quadratic properties. In addition, existing theoretical analyses of Local SGD often assume bounded variance. We, in turn, consider the unbounded noise condition, which allows us to broaden the class of studied problems.

چکیده به فارسی (ترجمه ماشینی)

بهینه سازی توزیع شده با بهینه سازی استفاده از منابع محاسباتی نقش مهمی در سیستم های یادگیری ماشین در مقیاس بزرگ و پردازش داده ها دارد.یکی از رویکردهای کلاسیک و محبوب ، نزول شیب تصادفی محلی (SGD محلی) است که با چندین به روزرسانی محلی قبل از میانگین مشخص می شود ، که به ویژه در محیط های توزیع شده برای کاهش تنگناهای ارتباطی و بهبود مقیاس پذیری مفید است.یک ویژگی معمولی این روش ، وابستگی به فراوانی ارتباطات است.اما در مورد یک عملکرد هدف درجه دوم با توزیع داده های همگن در تمام دستگاه ها ، تأثیر فراوانی ارتباطات از بین می رود.به عنوان یک نتیجه طبیعی ، مطالعات بعدی شامل فرض یک Lipschitz Hessian است ، زیرا این نشان دهنده شباهت عملکرد بهینه سازی شده به یک درجه دوم تا حدی است.با این حال ، به منظور گسترش کامل بودن نظریه محلی SGD و باز کردن پتانسیل آن ، در این مقاله با معرفی مفهوم جدیدی از $ \ textit {مقادیر تقریبی} $ ، فرض هسسی را رها می کنیم.این فرض چشم انداز جدیدی در مورد مشکلاتی که خصوصیات درجه دوم دارند ، ارائه می دهد.علاوه بر این ، تجزیه و تحلیل نظری موجود از SGD محلی اغلب واریانس محدود را فرض می کند.ما به نوبه خود وضعیت سر و صدای بی حد و حصر را در نظر می گیریم ، که به ما امکان می دهد کلاس مشکلات مورد مطالعه را گسترش دهیم.