ترجمه فارسی مقاله در مورد همگرایی یک الگوریتم فدرالی حداکثرسازی امید

چکیده

Data heterogeneity has been a long-standing bottleneck in studying the convergence rates of Federated Learning algorithms. In order to better understand the issue of data heterogeneity, we study the convergence rate of the Expectation-Maximization (EM) algorithm for the Federated Mixture of $K$ Linear Regressions model. We fully characterize the convergence rate of the EM algorithm under all regimes of $m/n$ where $m$ is the number of clients and $n$ is the number of data points per client. We show that with a signal-to-noise-ratio (SNR) of order $Ω(sqrt{K})$, the well-initialized EM algorithm converges within the minimax distance of the ground truth under each of the regimes. Interestingly, we identify that when $m$ grows exponentially in $n$, the EM algorithm only requires a constant number of iterations to converge. We perform experiments on synthetic datasets to illustrate our results. Surprisingly, the results show that rather than being a bottleneck, data heterogeneity can accelerate the convergence of federated learning algorithms.

چکیده به فارسی (ترجمه ماشینی)

ناهمگونی داده ها یک تنگنا دیرینه در مطالعه میزان همگرایی الگوریتم های یادگیری فدرال شده است.به منظور درک بهتر مسئله ناهمگونی داده ها ، ما میزان همگرایی الگوریتم انتظار-حرکت (EM) را برای مخلوط فدرال از مدل رگرسیون خطی $ $ $ بررسی می کنیم.ما به طور کامل نرخ همگرایی الگوریتم EM را تحت کلیه رژیم های $ m/n $ مشخص می کنیم که در آن $ m $ تعداد مشتری ها و $ n $ تعداد نقاط داده برای هر مشتری است.ما نشان می دهیم که با یک نسبت سیگنال به نویز (SNR) سفارش $ ω ( sqrt {k}) $ ، الگوریتم EM خوب به خوبی آغاز می شود در فاصله حداقلی از حقیقت زمین تحت هر یک از رژیم ها.جالب اینجاست که ما تشخیص می دهیم که وقتی $ m $ به صورت نمایی در $ n $ رشد می کند ، الگوریتم EM فقط برای همگرایی به تعداد ثابت تکرارها نیاز دارد.ما آزمایشاتی را در مجموعه داده های مصنوعی انجام می دهیم تا نتایج خود را نشان دهیم.با کمال تعجب ، نتایج نشان می دهد که به جای اینکه یک تنگنا باشد ، ناهمگونی داده ها می توانند همگرایی الگوریتم های یادگیری فدرال را تسریع کنند.