مقاله یک طرح یادگیری فدرال مبتنی بر شیب مشترک و زیان

چکیده

In this paper, a novel clustered FL framework that enables distributed edge devices with non-IID data to independently form several clusters in a distributed manner and implement FL training within each cluster is proposed. In particular, our designed clustered FL algorithm must overcome two challenges associated with FL training. First, the server has limited FL training information (i.e., the parameter server can only obtain the FL model information of each device) and limited computational power for finding the differences among a large amount of devices. Second, each device does not have the data information of other devices for device clustering and can only use global FL model parameters received from the server and its data information to determine its cluster identity, which will increase the difficulty of device clustering. To overcome these two challenges, we propose a joint gradient and loss based distributed clustering method in which each device determines its cluster identity considering the gradient similarity and training loss. The proposed clustering method not only considers how a local FL model of one device contributes to each cluster but also the direction of gradient descent thus improving clustering speed. By delegating clustering decisions to edge devices, each device can fully leverage its private data information to determine its own cluster identity, thereby reducing clustering overhead and improving overall clustering performance. Simulation results demonstrate that our proposed clustered FL algorithm can reduce clustering iterations by up to 99% compared to the existing baseline.

چکیده به فارسی (ترجمه ماشینی)

در این مقاله ، یک چارچوب FL خوشه ای جدید که دستگاه های لبه توزیع شده را با داده های غیر IID امکان پذیر می کند تا به طور مستقل چندین خوشه را به صورت توزیع شده تشکیل دهند و آموزش FL را در هر خوشه اجرا کنند.به طور خاص ، الگوریتم FL خوشه ای طراحی شده ما باید بر دو چالش مرتبط با آموزش FL غلبه کند.اول ، سرور دارای اطلاعات محدود آموزش FL است (یعنی سرور پارامتر فقط می تواند اطلاعات مدل FL هر دستگاه را بدست آورد) و برای یافتن تفاوت بین تعداد زیادی از دستگاه ها ، قدرت محاسباتی محدود را محدود می کند.دوم ، هر دستگاه اطلاعات داده های سایر دستگاه ها را برای خوشه بندی دستگاه ندارد و فقط می تواند از پارامترهای مدل جهانی FL دریافت شده از سرور و اطلاعات داده آن برای تعیین هویت خوشه ای آن استفاده کند ، که این باعث افزایش دشواری خوشه بندی دستگاه می شود.برای غلبه بر این دو چالش ، ما یک روش خوشه بندی توزیع شده با شیب مشترک و از دست دادن را پیشنهاد می کنیم که در آن هر دستگاه با توجه به شباهت شیب و از دست دادن آموزش ، هویت خوشه ای خود را تعیین می کند.روش خوشه بندی پیشنهادی نه تنها در نظر می گیرد که چگونه یک مدل FL محلی یک دستگاه به هر خوشه کمک می کند بلکه جهت نزول شیب نیز در نتیجه باعث بهبود سرعت خوشه بندی می شود.با واگذاری تصمیمات خوشه بندی به دستگاه های لبه ، هر دستگاه می تواند اطلاعات داده های خصوصی خود را به طور کامل برای تعیین هویت خوشه ای خود به طور کامل از آن استفاده کند ، در نتیجه باعث کاهش سطح بالای خوشه بندی و بهبود عملکرد کلی خوشه بندی می شود.نتایج شبیه سازی نشان می دهد که الگوریتم FL خوشه ای پیشنهادی ما می تواند تکرارهای خوشه بندی را تا 99 ٪ در مقایسه با پایه موجود کاهش دهد.