ترجمه فارسی مقاله نویز تصادفی پنهان برای ارتباط، یادگیری فدرال کارآمد

چکیده

Federated learning is a promising distributed training paradigm that effectively safeguards data privacy. However, it may involve significant communication costs, which hinders training efficiency. In this paper, we aim to enhance communication efficiency from a new perspective. Specifically, we request the distributed clients to find optimal model updates relative to global model parameters within predefined random noise. For this purpose, we propose Federated Masked Random Noise (FedMRN), a novel framework that enables clients to learn a 1-bit mask for each model parameter and apply masked random noise (i.e., the Hadamard product of random noise and masks) to represent model updates. To make FedMRN feasible, we propose an advanced mask training strategy, called progressive stochastic masking (PSM). After local training, each client only need to transmit local masks and a random seed to the server. Additionally, we provide theoretical guarantees for the convergence of FedMRN under both strongly convex and non-convex assumptions. Extensive experiments are conducted on four popular datasets. The results show that FedMRN exhibits superior convergence speed and test accuracy compared to relevant baselines, while attaining a similar level of accuracy as FedAvg.

چکیده به فارسی (ترجمه ماشینی)

یادگیری فدرال یک الگوی آموزشی توزیع شده امیدوارکننده است که به طور مؤثر از حریم خصوصی داده ها محافظت می کند.با این حال ، این ممکن است شامل هزینه های ارتباطی قابل توجهی باشد ، که مانع از کارآیی آموزش می شود.در این مقاله ، ما هدف ما افزایش کارآیی ارتباطات از دیدگاه جدید است.به طور خاص ، ما از مشتریان توزیع شده می خواهیم تا به روزرسانی های بهینه مدل را نسبت به پارامترهای مدل جهانی در سر و صدای تصادفی از پیش تعریف شده پیدا کنند.برای این منظور ، ما نویز تصادفی ماسک شده فدرال (FEDMRN) را پیشنهاد می کنیم ، یک چارچوب جدید که به مشتریان امکان می دهد یک ماسک 1 بیتی را برای هر پارامتر مدل بیاموزند و نویز تصادفی ماسک (به عنوان مثال ، محصول Hadamard از سر و صدای تصادفی و ماسک ها) را نشان دهند.به روزرسانی های مدلبرای امکان پذیر بودن FEDMRN ، ما یک استراتژی آموزش پیشرفته ماسک ، به نام نقاب تصادفی پیشرو (PSM) را پیشنهاد می کنیم.پس از آموزش محلی ، هر مشتری فقط نیاز به انتقال ماسک های محلی و یک دانه تصادفی به سرور دارد.علاوه بر این ، ما ضمانت های نظری را برای همگرایی FEDMRN تحت فرضیات به شدت محدب و غیر متمایز ارائه می دهیم.آزمایش های گسترده در چهار مجموعه داده محبوب انجام می شود.نتایج نشان می دهد که FEDMRN سرعت همگرایی برتر و دقت آزمایش را در مقایسه با خطوط مربوطه نشان می دهد ، در حالی که به سطح مشابهی از دقت به عنوان FEDAVG می رسد.