ترجمه فارسی مقاله یادگیری فدرال کارآمد با استفاده از به‌روزرسانی پویا و هرس تطبیقی ​​با مومنتوم روی داده‌های سرور مشترک

چکیده

Despite achieving remarkable performance, Federated Learning (FL) encounters two important problems, i.e., low training efficiency and limited computational resources. In this paper, we propose a new FL framework, i.e., FedDUMAP, with three original contributions, to leverage the shared insensitive data on the server in addition to the distributed data in edge devices so as to efficiently train a global model. First, we propose a simple dynamic server update algorithm, which takes advantage of the shared insensitive data on the server while dynamically adjusting the update steps on the server in order to speed up the convergence and improve the accuracy. Second, we propose an adaptive optimization method with the dynamic server update algorithm to exploit the global momentum on the server and each local device for superior accuracy. Third, we develop a layer-adaptive model pruning method to carry out specific pruning operations, which is adapted to the diverse features of each layer so as to attain an excellent trade-off between effectiveness and efficiency. Our proposed FL model, FedDUMAP, combines the three original techniques and has a significantly better performance compared with baseline approaches in terms of efficiency (up to 16.9 times faster), accuracy (up to 20.4% higher), and computational cost (up to 62.6% smaller).

چکیده به فارسی (ترجمه ماشینی)

با وجود دستیابی به عملکرد قابل توجه ، یادگیری فدرال (FL) با دو مشکل مهم ، یعنی راندمان کم آموزش و منابع محاسباتی محدود روبرو می شود.در این مقاله ، ما یک چارچوب FL جدید ، یعنی FEDDUMAP ، با سه سهم اصلی ، پیشنهاد می کنیم تا علاوه بر داده های توزیع شده در دستگاه های Edge ، داده های غیر حساس مشترک را نیز در سرور اعمال کنیم تا بتوانند یک مدل جهانی را به طور کارآمد آموزش دهیم.اول ، ما یک الگوریتم به روزرسانی سرور پویا ساده را پیشنهاد می کنیم ، که از داده های غیر حساس به اشتراک گذاشته شده در سرور استفاده می کند در حالی که به طور پویا مراحل بروزرسانی را روی سرور تنظیم می کند تا بتواند همگرایی را سرعت بخشد و دقت را بهبود بخشد.دوم ، ما یک روش بهینه سازی تطبیقی ​​با الگوریتم به روزرسانی سرور پویا برای بهره برداری از حرکت جهانی روی سرور و هر دستگاه محلی برای دقت برتر پیشنهاد می کنیم.سوم ، ما یک روش هرس مدل سازگار با لایه برای انجام عملیات هرس خاص ، که با ویژگی های متنوع هر لایه سازگار است ، ایجاد می کنیم تا بتوانیم تجارت عالی بین اثربخشی و کارآیی بدست آوریم.مدل FL پیشنهادی ما ، FedDumap ، سه تکنیک اصلی را ترکیب می کند و عملکرد قابل توجهی بهتر در مقایسه با رویکردهای پایه از نظر کارآیی (تا 16.9 برابر سریعتر) ، دقت (حداکثر 20.4 ٪ بالاتر) و هزینه محاسباتی (حداکثر 62.6٪ کوچکتر).