مقاله تجمیع گرادیان کدگذاری شده سلسله مراتبی بر اساس کدهای MDS لایه ای

چکیده

The growing privacy concerns and the communication costs associated with transmitting raw data have resulted in techniques like federated learning, where the machine learning models are trained at the edge nodes, and the parameter updates are shared with a central server. Because communications from the edge nodes are often unreliable, a hierarchical setup involving intermediate helper nodes is considered. The communication links between the edges and the helper nodes are error-prone and are modeled as straggling/failing links. To overcome the issue of link failures, coding techniques are proposed. The edge nodes communicate encoded versions of the model updates to the helper nodes, which pass them on to the master after suitable aggregation. The primary work in this area uses repetition codes and Maximum Distance Separable (MDS) codes at the edge nodes to arrive at the Aligned Repetition Coding (ARC) and Aligned MDS Coding (AMC) schemes, respectively. We propose using vector codes, specifically a family of layered MDS codes parameterized by a variable $ν$, at the edge nodes. For the proposed family of codes, suitable aggregation strategies at the helper nodes are also developed. At the extreme values of $ν$, our scheme matches the communication costs incurred by the ARC and AMC schemes, resulting in a graceful transition between these schemes.

چکیده به فارسی (ترجمه ماشینی)

نگرانی های رو به رشد حریم خصوصی و هزینه های ارتباطی مرتبط با انتقال داده های خام منجر به تکنیک هایی مانند یادگیری فدرال شده است ، جایی که مدل های یادگیری ماشین در گره های لبه آموزش دیده اند و به روزرسانی های پارامتر با یک سرور مرکزی به اشتراک گذاشته می شوند.از آنجا که ارتباطات از گره های لبه اغلب غیرقابل اعتماد است ، یک مجموعه سلسله مراتبی که شامل گره های یاور متوسط است در نظر گرفته می شود.پیوندهای ارتباطی بین لبه ها و گره های یاور مستعد خطا هستند و به عنوان پیوندهای پیچیده/ناکام مدل می شوند.برای غلبه بر مسئله خرابی های پیوند ، تکنیک های برنامه نویسی ارائه شده است.گره های Edge نسخه های رمزگذاری شده مدل را به روز می کنند و گره های یاور را به روز می کنند ، که آنها را پس از تجمع مناسب به استاد منتقل می کنند.کار اصلی در این زمینه از کدهای تکرار و کدهای حداکثر فاصله جداگانه (MDS) در گره های لبه استفاده می کند تا به ترتیب به برنامه های رمزگذاری تکرار شده (ARC) و برنامه های رمزگذاری MDS (AMC) تراز شده باشد.ما پیشنهاد می کنیم با استفاده از کدهای بردار ، به طور خاص خانواده ای از کدهای MDS لایه ای که توسط یک متغیر $ ν $ پارامتری شده اند ، در گره های لبه.برای خانواده پیشنهادی کدها ، استراتژی های جمع آوری مناسب در گره های یاور نیز تدوین شده است.با ارزش های شدید $ ν $ ، طرح ما با هزینه های ارتباطی که توسط طرح های ARC و AMC انجام می شود ، مطابقت دارد و در نتیجه انتقال برازنده بین این طرح ها ایجاد می شود.