ترجمه فارسی مقاله SGD محلی برای مشکلات نزدیک به درجه دوم: بهبود همگرایی تحت شرایط نویز نامحدود

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

عنوان مقاله به انگلیسی Local SGD for Near-Quadratic Problems: Improving Convergence under Unconstrained Noise Conditions
عنوان مقاله به فارسی SGD محلی برای مشکلات نزدیک به درجه دوم: بهبود همگرایی تحت شرایط نویز نامحدود
نویسندگان Andrey Sadchikov, Savelii Chezhegov, Aleksandr Beznosikov, Alexander Gasnikov
فرمت مقاله انگلیسی PDF
تعداد صفحات 33
لینک دانلود رایگان مقاله انگلیسی دانلود مقاله
دسته بندی موضوعات Optimization and Control,بهینه سازی و کنترل ,
توضیحات Submitted 16 September, 2024; originally announced September 2024. , Comments: 33 pages, 1 algorithm, 3 figures, 2 tables
توضیحات به فارسی ارائه شده 16 سپتامبر 2024 ؛در ابتدا سپتامبر 2024 اعلام شد ، نظرات: 33 صفحه ، 1 الگوریتم ، 3 شکل ، 2 جدول
اطلاعات بیشتر از این مقاله در پایگاه های علمی INSPIRE HEP
NASA ADS
Google Scholar
Semantic Scholar

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

چکیده

Distributed optimization plays an important role in modern large-scale machine learning and data processing systems by optimizing the utilization of computational resources. One of the classical and popular approaches is Local Stochastic Gradient Descent (Local SGD), characterized by multiple local updates before averaging, which is particularly useful in distributed environments to reduce communication bottlenecks and improve scalability. A typical feature of this method is the dependence on the frequency of communications. But in the case of a quadratic target function with homogeneous data distribution over all devices, the influence of frequency of communications vanishes. As a natural consequence, subsequent studies include the assumption of a Lipschitz Hessian, as this indicates the similarity of the optimized function to a quadratic one to some extent. However, in order to extend the completeness of the Local SGD theory and unlock its potential, in this paper we abandon the Lipschitz Hessian assumption by introducing a new concept of $\textit{approximate quadraticity}$. This assumption gives a new perspective on problems that have near quadratic properties. In addition, existing theoretical analyses of Local SGD often assume bounded variance. We, in turn, consider the unbounded noise condition, which allows us to broaden the class of studied problems.

چکیده به فارسی (ترجمه ماشینی)

بهینه سازی توزیع شده با بهینه سازی استفاده از منابع محاسباتی نقش مهمی در سیستم های یادگیری ماشین در مقیاس بزرگ و پردازش داده ها دارد.یکی از رویکردهای کلاسیک و محبوب ، نزول شیب تصادفی محلی (SGD محلی) است که با چندین به روزرسانی محلی قبل از میانگین مشخص می شود ، که به ویژه در محیط های توزیع شده برای کاهش تنگناهای ارتباطی و بهبود مقیاس پذیری مفید است.یک ویژگی معمولی این روش ، وابستگی به فراوانی ارتباطات است.اما در مورد یک عملکرد هدف درجه دوم با توزیع داده های همگن در تمام دستگاه ها ، تأثیر فراوانی ارتباطات از بین می رود.به عنوان یک نتیجه طبیعی ، مطالعات بعدی شامل فرض یک Lipschitz Hessian است ، زیرا این نشان دهنده شباهت عملکرد بهینه سازی شده به یک درجه دوم تا حدی است.با این حال ، به منظور گسترش کامل بودن نظریه محلی SGD و باز کردن پتانسیل آن ، در این مقاله با معرفی مفهوم جدیدی از $ \ textit {مقادیر تقریبی} $ ، فرض هسسی را رها می کنیم.این فرض چشم انداز جدیدی در مورد مشکلاتی که خصوصیات درجه دوم دارند ، ارائه می دهد.علاوه بر این ، تجزیه و تحلیل نظری موجود از SGD محلی اغلب واریانس محدود را فرض می کند.ما به نوبه خود وضعیت سر و صدای بی حد و حصر را در نظر می گیریم ، که به ما امکان می دهد کلاس مشکلات مورد مطالعه را گسترش دهیم.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.