ترجمه فارسی مقاله الگوریتم های یادگیری غیر متمرکز سریعتر سازگار

چکیده

Decentralized learning recently has received increasing attention in machine learning due to its advantages in implementation simplicity and system robustness, data privacy. Meanwhile, the adaptive gradient methods show superior performances in many machine learning tasks such as training neural networks. Although some works focus on studying decentralized optimization algorithms with adaptive learning rates, these adaptive decentralized algorithms still suffer from high sample complexity. To fill these gaps, we propose a class of faster adaptive decentralized algorithms (i.e., AdaMDOS and AdaMDOF) for distributed nonconvex stochastic and finite-sum optimization, respectively. Moreover, we provide a solid convergence analysis framework for our methods. In particular, we prove that our AdaMDOS obtains a near-optimal sample complexity of $\tilde{O}(ε^{-3})$ for finding an $ε$-stationary solution of nonconvex stochastic optimization. Meanwhile, our AdaMDOF obtains a near-optimal sample complexity of $O(\sqrt{n}ε^{-2})$ for finding an $ε$-stationary solution of nonconvex finite-sum optimization, where $n$ denotes the sample size. To the best of our knowledge, our AdaMDOF algorithm is the first adaptive decentralized algorithm for nonconvex finite-sum optimization. Some experimental results demonstrate efficiency of our algorithms.

چکیده به فارسی (ترجمه ماشینی)

یادگیری غیرمتمرکز اخیراً به دلیل مزایای آن در سادگی در اجرای سادگی و استحکام سیستم ، حریم خصوصی داده ها توجه بیشتری را در یادگیری ماشین جلب کرده است.در همین حال ، روشهای شیب تطبیقی ​​عملکردهای برتر را در بسیاری از کارهای یادگیری ماشین مانند آموزش شبکه های عصبی نشان می دهد.اگرچه برخی از آثار بر مطالعه الگوریتم های بهینه سازی غیر متمرکز با نرخ یادگیری تطبیقی ​​متمرکز هستند ، اما این الگوریتم های غیر متمرکز تطبیقی ​​هنوز از پیچیدگی نمونه بالا رنج می برند.برای پر کردن این شکاف ها ، ما به ترتیب یک کلاس از الگوریتم های غیر متمرکز سازگار با سرعت بیشتری (یعنی AdamDos و AdamDof) را برای بهینه سازی غیر تصادفی و محدود بهینه توزیع می کنیم.علاوه بر این ، ما یک چارچوب تجزیه و تحلیل همگرایی جامد را برای روشهای خود ارائه می دهیم.به طور خاص ، ما ثابت می کنیم که ADAMDOS ما پیچیدگی نمونه ای تقریباً بهینه از $ \ tilde {o} (ε^{-3}) $ را برای یافتن یک راه حل $ and $-stationary از بهینه سازی تصادفی nonconvex بدست می آورد.در همین حال ، ADAMDOF ما پیچیدگی نمونه تقریباً بهینه از $ O (\ sqrt {n} ε^{-2}) $ را برای یافتن یک راه حل $ ε $-stationary از بهینه سازی محدود محدود غیرقانونی بدست می آورد ، جایی که $ n $ حاکی از آن است.اندازه نمونهبه بهترین دانش ما ، الگوریتم ADAMDOF ما اولین الگوریتم غیر متمرکز سازگار برای بهینه سازی محدود محدود Nonconvex است.برخی از نتایج تجربی ، کارآیی الگوریتم های ما را نشان می دهد.