مقاله Adapterfl: یادگیری فدراسیون ناهمگن تطبیقی برای سیستم های محاسبات موبایل منابع محدود

چکیده

Federated Learning (FL) enables collaborative learning of large-scale distributed clients without data sharing. However, due to the disparity of computing resources among massive mobile computing devices, the performance of traditional homogeneous model-based Federated Learning (FL) is seriously limited. On the one hand, to achieve model training in all the diverse clients, mobile computing systems can only use small low-performance models for collaborative learning. On the other hand, devices with high computing resources cannot train a high-performance large model with their insufficient raw data. To address the resource-constrained problem in mobile computing systems, we present a novel heterogeneous FL approach named AdapterFL, which uses a model reassemble strategy to facilitate collaborative training of massive heterogeneous mobile devices adaptively. Specifically, we select multiple candidate heterogeneous models based on the computing performance of massive mobile devices and then divide each heterogeneous model into two partitions. By reassembling the partitions, we can generate models with varied sizes that are combined by the partial parameters of the large model with the partial parameters of the small model. Using these reassembled models for FL training, we can train the partial parameters of the large model using low-performance devices. In this way, we can alleviate performance degradation in large models due to resource constraints. The experimental results show that AdapterFL can achieve up to 12\% accuracy improvement compared to the state-of-the-art heterogeneous federated learning methods in resource-constrained scenarios.

چکیده به فارسی (ترجمه ماشینی)

یادگیری فدرال (FL) یادگیری مشترک مشتریان توزیع شده در مقیاس بزرگ را بدون به اشتراک گذاری داده امکان پذیر می کند.با این حال ، به دلیل نابرابری منابع محاسباتی در بین دستگاه های محاسبات عظیم تلفن همراه ، عملکرد یادگیری فدراسیون مبتنی بر مدل همگن سنتی (FL) به طور جدی محدود است.از یک طرف ، برای دستیابی به آموزش مدل در کلیه مشتری های متنوع ، سیستم های محاسبات موبایل فقط می توانند از مدلهای کوچک با کارایی کم برای یادگیری مشترک استفاده کنند.از طرف دیگر ، دستگاه هایی با منابع محاسباتی بالا نمی توانند با داده های خام کافی خود یک مدل بزرگ با کارایی بالا را آموزش دهند.برای پرداختن به مشکل محدود شده در منابع در سیستم های محاسبات موبایل ، ما یک رویکرد FL ناهمگن جدید به نام AdapterFL را ارائه می دهیم ، که از یک استراتژی مجدداً مدل برای تسهیل آموزش مشترک دستگاه های موبایل ناهمگن گسترده استفاده می کند.به طور خاص ، ما چندین مدل ناهمگن نامزد را بر اساس عملکرد محاسبه دستگاه های عظیم تلفن همراه انتخاب می کنیم و سپس هر مدل ناهمگن را به دو پارتیشن تقسیم می کنیم.با استفاده مجدد از پارتیشن ها ، می توانیم مدلهایی با اندازه های متنوع تولید کنیم که توسط پارامترهای جزئی مدل بزرگ با پارامترهای جزئی مدل کوچک ترکیب می شوند.با استفاده از این مدل های مجدداً برای آموزش FL ، می توانیم پارامترهای جزئی مدل بزرگ را با استفاده از دستگاه های کم عملکرد آموزش دهیم.به این ترتیب ، ما می توانیم به دلیل محدودیت منابع ، تخریب عملکرد را در مدلهای بزرگ کاهش دهیم.نتایج تجربی نشان می دهد که AdapterFL می تواند در مقایسه با روشهای یادگیری ناهمگن فدراسیون ناهمگن در سناریوهای محدود شده از منابع ، حداکثر 12 \ ٪ بهبود را بدست آورد.