ترجمه فارسی مقاله GRAWA: میانگین وزنی مبتنی بر گرادیان برای آموزش توزیع شده مدل های یادگیری عمیق

چکیده

We study distributed training of deep learning models in time-constrained environments. We propose a new algorithm that periodically pulls workers towards the center variable computed as a weighted average of workers, where the weights are inversely proportional to the gradient norms of the workers such that recovering the flat regions in the optimization landscape is prioritized. We develop two asynchronous variants of the proposed algorithm that we call Model-level and Layer-level Gradient-based Weighted Averaging (resp. MGRAWA and LGRAWA), which differ in terms of the weighting scheme that is either done with respect to the entire model or is applied layer-wise. On the theoretical front, we prove the convergence guarantee for the proposed approach in both convex and non-convex settings. We then experimentally demonstrate that our algorithms outperform the competitor methods by achieving faster convergence and recovering better quality and flatter local optima. We also carry out an ablation study to analyze the scalability of the proposed algorithms in more crowded distributed training environments. Finally, we report that our approach requires less frequent communication and fewer distributed updates compared to the state-of-the-art baselines.

چکیده به فارسی (ترجمه ماشینی)

ما آموزش های توزیع شده از مدل های یادگیری عمیق را در محیط های محدود شده زمان مطالعه می کنیم.ما یک الگوریتم جدید را پیشنهاد می کنیم که بطور دوره ای کارگران را به سمت متغیر مرکز محاسبه می کند که به عنوان میانگین وزنی کارگران محاسبه می شود ، جایی که وزن ها به طور معکوس با هنجارهای شیب کارگران متناسب هستند به گونه ای که بازیابی مناطق مسطح در چشم انداز بهینه سازی اولویت بندی می شود.ما دو نوع ناهمزمان از الگوریتم پیشنهادی را ایجاد می کنیم که به طور متوسط وزن مدل و سطح لایه ای بر پایه سطح مدل (به ترتیب Mgrawa و Lgrawa) می نامیم ، که از نظر طرح وزنی متفاوت است که یا با توجه به کل مدل انجام می شودیا از نظر لایه ای کاربردی است.در جبهه نظری ، ما ضمانت همگرایی را برای رویکرد پیشنهادی در هر دو تنظیمات محدب و غیر متمایز اثبات می کنیم.ما سپس به صورت تجربی نشان می دهیم که الگوریتم های ما با دستیابی به همگرایی سریعتر و بازیابی کیفیت بهتر و بهینه سازی محلی ، از روشهای رقیب بهتر عمل می کنند.ما همچنین یک مطالعه فرسایش را برای تجزیه و تحلیل مقیاس پذیری الگوریتم های پیشنهادی در محیط های آموزشی توزیع شده شلوغ تر انجام می دهیم.سرانجام ، ما گزارش می دهیم که رویکرد ما نیاز به ارتباطات مکرر و به روزرسانی های توزیع شده کمتر در مقایسه با خطوط پیشرفته دارد.