ترجمه فارسی مقاله LoCoDL: یادگیری توزیع شده کارآمد در ارتباط با آموزش محلی و فشرده سازی

چکیده

In Distributed optimization and Learning, and even more in the modern framework of federated learning, communication, which is slow and costly, is critical. We introduce LoCoDL, a communication-efficient algorithm that leverages the two popular and effective techniques of Local training, which reduces the communication frequency, and Compression, in which short bitstreams are sent instead of full-dimensional vectors of floats. LoCoDL works with a large class of unbiased compressors that includes widely-used sparsification and quantization methods. LoCoDL provably benefits from local training and compression and enjoys a doubly-accelerated communication complexity, with respect to the condition number of the functions and the model dimension, in the general heterogenous regime with strongly convex functions. This is confirmed in practice, with LoCoDL outperforming existing algorithms.

چکیده به فارسی (ترجمه ماشینی)

در بهینه سازی و یادگیری توزیع شده و حتی بیشتر در چارچوب مدرن یادگیری ، ارتباطات فدرال ، که کند و پرهزینه است ، بسیار مهم است.ما LOCODL را معرفی می کنیم ، یک الگوریتم با کارآیی ارتباطات که از دو روش محبوب و مؤثر آموزش محلی استفاده می کند ، که باعث کاهش فرکانس ارتباط و فشرده سازی می شود ، که در آن بیت های کوتاه به جای بردارهای کامل ابعاد شناورها ارسال می شوند.Locodl با کلاس بزرگی از کمپرسورهای بی طرفانه کار می کند که شامل روشهای پراکندگی و کمیت است که به طور گسترده استفاده می شود.LOCODL به طور مؤثر از آموزش محلی و فشرده سازی بهره می برد و از یک پیچیدگی ارتباطی مضاعف ، با توجه به شرایط شرایط توابع و بعد مدل ، در رژیم ناهمگن عمومی با عملکردهای محدب به شدت برخوردار است.این در عمل تأیید شده است ، با Locodl از الگوریتم های موجود بهتر است.