ترجمه فارسی مقاله FedBAT: یادگیری فدرال کارآمد از نظر ارتباطی از طریق باینری‌سازی قابل یادگیری

چکیده

Federated learning is a promising distributed machine learning paradigm that can effectively exploit large-scale data without exposing users’ privacy. However, it may incur significant communication overhead, thereby potentially impairing the training efficiency. To address this challenge, numerous studies suggest binarizing the model updates. Nonetheless, traditional methods usually binarize model updates in a post-training manner, resulting in significant approximation errors and consequent degradation in model accuracy. To this end, we propose Federated Binarization-Aware Training (FedBAT), a novel framework that directly learns binary model updates during the local training process, thus inherently reducing the approximation errors. FedBAT incorporates an innovative binarization operator, along with meticulously designed derivatives to facilitate efficient learning. In addition, we establish theoretical guarantees regarding the convergence of FedBAT. Extensive experiments are conducted on four popular datasets. The results show that FedBAT significantly accelerates the convergence and exceeds the accuracy of baselines by up to 9%, even surpassing that of FedAvg in some cases.

چکیده به فارسی (ترجمه ماشینی)

Federated Learning یک پارادایم امیدوارکننده در یادگیری ماشین است که می تواند به طور مؤثر از داده های در مقیاس بزرگ بدون افشای حریم خصوصی کاربران بهره برداری کند.با این حال ، ممکن است ارتباط قابل توجهی در سربار داشته باشد ، در نتیجه به طور بالقوه باعث اختلال در راندمان آموزش می شود.برای پرداختن به این چالش ، مطالعات بیشماری حاکی از بانار کردن به روزرسانی های مدل است.با این وجود ، روشهای سنتی معمولاً به روزرسانی های مدل را به صورت پس از آموزش به روز می کنند ، و در نتیجه خطاهای تقریب قابل توجهی و تخریب در نتیجه در دقت مدل ایجاد می شود.برای این منظور ، ما آموزش های آگاهی از باناریزاسیون فدرال (FEDBAT) را پیشنهاد می کنیم ، یک چارچوب جدید که مستقیماً به روزرسانی های مدل باینری را در طی فرایند آموزش محلی می آموزد ، بنابراین ذاتاً خطاهای تقریبی را کاهش می دهد.FEDBAT شامل یک اپراتور بایرزیزاسیون نوآورانه ، همراه با مشتقات طراحی دقیق برای تسهیل یادگیری کارآمد است.علاوه بر این ، ما در مورد همگرایی FEDBAT ضمانت های نظری را تعیین می کنیم.آزمایش های گسترده در چهار مجموعه داده محبوب انجام می شود.نتایج نشان می دهد که FEDBAT به طور قابل توجهی همگرایی را تسریع می کند و از دقت خطوط پایه تا 9 ٪ فراتر می رود ، حتی در برخی موارد از FEDAVG پیشی می گیرد.