ترجمه فارسی مقاله یادگیری فدرال مقاوم به بیزانس با استفاده از شیب های عادی در مجموعه داده های غیر IID

چکیده

In practical federated learning (FL) systems, the presence of malicious Byzantine attacks and data heterogeneity often introduces biases into the learning process. However, existing Byzantine-robust methods typically only achieve a compromise between adaptability to different loss function types (including both strongly convex and non-convex) and robustness to heterogeneous datasets, but with non-zero optimality gap. Moreover, this compromise often comes at the cost of high computational complexity for aggregation, which significantly slows down the training speed. To address this challenge, we propose a federated learning approach called Federated Normalized Gradients Algorithm (Fed-NGA). Fed-NGA simply normalizes the uploaded local gradients to be unit vectors before aggregation, achieving a time complexity of $\mathcal{O}(pM)$, where $p$ represents the dimension of model parameters and $M$ is the number of participating clients. This complexity scale achieves the best level among all the existing Byzantine-robust methods. Furthermore, through rigorous proof, we demonstrate that Fed-NGA transcends the trade-off between adaptability to loss function type and data heterogeneity and the limitation of non-zero optimality gap in existing literature. Specifically, Fed-NGA can adapt to both non-convex loss functions and non-IID datasets simultaneously, with zero optimality gap at a rate of $\mathcal{O} (1/T^{\frac{1}{2} – δ})$, where T is the iteration number and $δ\in (0,\frac{1}{2})$. In cases where the loss function is strongly convex, the zero optimality gap achieving rate can be improved to be linear. Experimental results provide evidence of the superiority of our proposed Fed-NGA on time complexity and convergence performance over baseline methods.

چکیده به فارسی (ترجمه ماشینی)

در سیستم های یادگیری فدراسیون عملی (FL) ، وجود حملات بیزانس مخرب و ناهمگونی داده ها غالباً تعصبات را در فرایند یادگیری معرفی می کند.با این حال ، روشهای بیزانس موجود در بیزانس موجود به طور معمول فقط به سازش بین سازگاری با انواع مختلف عملکرد از دست دادن (از جمله هم محدب و هم غیر کنفکس) و استحکام به مجموعه داده های ناهمگن می رسند ، اما با شکاف بهینه غیر صفر.علاوه بر این ، این سازش اغلب به هزینه پیچیدگی محاسباتی بالا برای تجمع می رسد ، که به طور قابل توجهی سرعت تمرین را کاهش می دهد.برای پرداختن به این چالش ، ما یک رویکرد یادگیری فدرال به نام الگوریتم شیب نرمال فدرال (FED-NGA) را پیشنهاد می کنیم.Fed-NGA به سادگی شیب های محلی بارگذاری شده را به عنوان بردارهای واحد قبل از جمع بندی عادی می کند ، و دستیابی به پیچیدگی زمانی $ \ Mathcal {O} (PM) $ ، که در آن $ P $ نشان دهنده ابعاد پارامترهای مدل و $ M $ است.مشتری های شرکت کنندهاین مقیاس پیچیدگی در بین تمام روشهای موجود در بیزانس موجود به بهترین سطح می رسد.علاوه بر این ، از طریق اثبات دقیق ، ما نشان می دهیم که FED-NGA از تجارت بین سازگاری با نوع عملکرد از دست دادن و ناهمگونی داده ها و محدودیت شکاف بهینه غیر صفر در ادبیات موجود فراتر می رود.به طور خاص ، FED-NGA می تواند با هر دو کارکرد از دست دادن غیر CONVEX و مجموعه داده های غیر IID به طور همزمان ، با شکاف بهینه صفر با نرخ $ \ Mathcal {O} (1/t^{\ frac {1} {2}-سازگار شود.δ}) $ ، جایی که t شماره تکرار و $ δ \ in (0 ، \ frac {1} {2}) $ است.در مواردی که عملکرد از دست دادن به شدت محدب باشد ، می توان سرعت دستیابی به بهینه صفر را به صورت خطی بهبود بخشید.نتایج تجربی شواهدی از برتری FED-NGA پیشنهادی ما در پیچیدگی زمان و عملکرد همگرایی نسبت به روشهای پایه ارائه می دهد.