مقاله استحکام بیزانس و مشارکت جزئی می تواند به طور همزمان به دست آید: فقط اختلافات شیب را کلیپ کنید

چکیده

Distributed learning has emerged as a leading paradigm for training large machine learning models. However, in real-world scenarios, participants may be unreliable or malicious, posing a significant challenge to the integrity and accuracy of the trained models. Byzantine fault tolerance mechanisms have been proposed to address these issues, but they often assume full participation from all clients, which is not always practical due to the unavailability of some clients or communication constraints. In our work, we propose the first distributed method with client sampling and provable tolerance to Byzantine workers. The key idea behind the developed method is the use of gradient clipping to control stochastic gradient differences in recursive variance reduction. This allows us to bound the potential harm caused by Byzantine workers, even during iterations when all sampled clients are Byzantine. Furthermore, we incorporate communication compression into the method to enhance communication efficiency. Under quite general assumptions, we prove convergence rates for the proposed method that match the existing state-of-the-art (SOTA) theoretical results.

چکیده به فارسی (ترجمه ماشینی)

یادگیری توزیع شده به عنوان یک الگوی پیشرو برای آموزش مدلهای یادگیری ماشین بزرگ ظاهر شده است.با این حال ، در سناریوهای دنیای واقعی ، شرکت کنندگان ممکن است غیرقابل اعتماد یا مخرب باشند و یک چالش مهم برای یکپارچگی و صحت مدلهای آموزش دیده ایجاد می کنند.مکانیسم های تحمل گسل بیزانس برای رسیدگی به این موضوعات پیشنهاد شده است ، اما آنها اغلب مشارکت کامل از همه مشتری ها را فرض می کنند ، که به دلیل عدم دسترسی برخی از مشتری ها یا محدودیت های ارتباطی ، همیشه عملی نیست.در کار خود ، اولین روش توزیع شده را با نمونه گیری مشتری و تحمل قابل اثبات به کارگران بیزانس پیشنهاد می کنیم.ایده اصلی در مورد روش توسعه یافته استفاده از قطع شیب برای کنترل تفاوت های شیب تصادفی در کاهش واریانس بازگشتی است.این به ما امکان می دهد آسیب های احتمالی ناشی از کارگران بیزانس را محدود کنیم ، حتی در هنگام تکرار ، وقتی همه مشتری های نمونه بیزانس هستند.علاوه بر این ، ما فشرده سازی ارتباطی را در روش تقویت راندمان ارتباطات درج می کنیم.تحت فرضیات کاملاً کلی ، ما نرخ همگرایی را برای روش پیشنهادی که مطابق با نتایج نظری پیشرفته ترین هنر (SOTA) است ، اثبات می کنیم.