ترجمه فارسی مقاله استحکام شبکه های عصبی سنبله در ارتباطات و کاربرد آن به سمت کارآیی شبکه در یادگیری فدرال

چکیده

Spiking Neural Networks (SNNs) have recently gained significant interest in on-chip learning in embedded devices and emerged as an energy-efficient alternative to conventional Artificial Neural Networks (ANNs). However, to extend SNNs to a Federated Learning (FL) setting involving collaborative model training, the communication between the local devices and the remote server remains the bottleneck, which is often restricted and costly. In this paper, we first explore the inherent robustness of SNNs under noisy communication in FL. Building upon this foundation, we propose a novel Federated Learning with Top-K Sparsification (FLTS) algorithm to reduce the bandwidth usage for FL training. We discover that the proposed scheme with SNNs allows more bandwidth savings compared to ANNs without impacting the model’s accuracy. Additionally, the number of parameters to be communicated can be reduced to as low as 6 percent of the size of the original model. We further improve the communication efficiency by enabling dynamic parameter compression during model training. Extensive experiment results demonstrate that our proposed algorithms significantly outperform the baselines in terms of communication cost and model accuracy and are promising for practical network-efficient FL with SNNs.

چکیده به فارسی (ترجمه ماشینی)

شبکه های عصبی سنبله (SNN) اخیراً علاقه زیادی به یادگیری روی تراشه در دستگاه های تعبیه شده داشته و به عنوان یک جایگزین کارآمد برای انرژی برای شبکه های عصبی مصنوعی معمولی (ANNS) ظاهر شده است.با این حال ، برای گسترش SNN ها به یک یادگیری فدراسیون (FL) که شامل آموزش مدل مشترک است ، ارتباط بین دستگاه های محلی و سرور از راه دور تنگنای باقی می ماند ، که اغلب محدود و پرهزینه است.در این مقاله ، ما ابتدا استحکام ذاتی SNN ها را تحت ارتباطات پر سر و صدا در FL کشف می کنیم.با تکیه بر این بنیاد ، ما یک یادگیری جدید فدراسیون با الگوریتم پراکندگی بالا K (FLTS) را برای کاهش میزان استفاده از پهنای باند برای آموزش FL پیشنهاد می کنیم.ما می دانیم که طرح پیشنهادی با SNNS امکان صرفه جویی در پهنای باند بیشتری را در مقایسه با ANNS بدون تأثیرگذاری بر صحت مدل فراهم می کند.علاوه بر این ، تعداد پارامترهای مورد نیاز برای برقراری ارتباط را می توان به 6 درصد از اندازه مدل اصلی کاهش داد.ما بیشتر با فعال کردن فشرده سازی پارامتر پویا در طول آموزش مدل ، بازده ارتباطات را بهبود می بخشیم.نتایج آزمایش گسترده نشان می دهد که الگوریتم های پیشنهادی ما از نظر هزینه ارتباطی و دقت مدل به طور قابل توجهی از خط مقدمات بهتر عمل می کنند و برای FL کارآمد شبکه با SNN امیدوار هستند.