ترجمه فارسی مقاله یادگیری فدرال متوالی در معماری سلسله مراتبی در مجموعه داده های غیر IID

چکیده

In a real federated learning (FL) system, communication overhead for passing model parameters between the clients and the parameter server (PS) is often a bottleneck. Hierarchical federated learning (HFL) that poses multiple edge servers (ESs) between clients and the PS can partially alleviate communication pressure but still needs the aggregation of model parameters from multiple ESs at the PS. To further reduce communication overhead, we bring sequential FL (SFL) into HFL for the first time, which removes the central PS and enables the model training to be completed only through passing the global model between two adjacent ESs for each iteration, and propose a novel algorithm adaptive to such a combinational framework, referred to as Fed-CHS. Convergence results are derived for strongly convex and non-convex loss functions under various data heterogeneity setups, which show comparable convergence performance with the algorithms for HFL or SFL solely. Experimental results provide evidence of the superiority of our proposed Fed-CHS on both communication overhead saving and test accuracy over baseline methods.

چکیده به فارسی (ترجمه ماشینی)

در یک سیستم یادگیری فدراسیون واقعی (FL) ، ارتباط سربار برای عبور پارامترهای مدل بین مشتری و سرور پارامتر (PS) اغلب یک تنگنا است.یادگیری فدراسیون سلسله مراتبی (HFL) که چندین سرورهای لبه (ESS) بین مشتری ها ایجاد می کند و PS می تواند تا حدی فشار ارتباطی را کاهش دهد اما هنوز هم به تجمع پارامترهای مدل از چندین ESS در PS نیاز دارد.برای کاهش بیشتر سربار ارتباطات ، ما برای اولین بار FL (SFL) متوالی را به HFL وارد می کنیم ، که PS مرکزی را از بین می برد و این امکان را فراهم می کند که آموزش مدل فقط با عبور از مدل جهانی بین دو ESS مجاور برای هر تکرار انجام شود ، و پیشنهاد می دهیمالگوریتم رمان تطبیقی ​​با چنین چارچوب ترکیبی ، که از آن به عنوان Fed-CHS یاد می شود.نتایج همگرایی برای توابع از دست دادن شدید محدب و غیر متمایز تحت تنظیمات مختلف ناهمگونی داده ها ، که عملکرد همگرایی قابل مقایسه با الگوریتم های HFL یا SFL را صرفاً نشان می دهد ، حاصل می شود.نتایج تجربی شواهدی از برتری از FED-CHS پیشنهادی ما در هر دو ارتباط سربار ارتباطات و دقت آزمایش نسبت به روشهای پایه ارائه می دهد.