ترجمه فارسی مقاله الگوریتم به‌روزرسانی یکپارچه با رتبه پایین ارتباطات کارآمد و ارتباط آن با منظم‌سازی ضمنی

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

عنوان مقاله به انگلیسی Communication-Efficient Federated Low-Rank Update Algorithm and its Connection to Implicit Regularization
عنوان مقاله به فارسی الگوریتم به‌روزرسانی یکپارچه با رتبه پایین ارتباطات کارآمد و ارتباط آن با منظم‌سازی ضمنی
نویسندگان Haemin Park, Diego Klabjan
فرمت مقاله انگلیسی PDF
تعداد صفحات 23
لینک دانلود رایگان مقاله انگلیسی دانلود مقاله
دسته بندی موضوعات Machine Learning,Artificial Intelligence,Machine Learning,یادگیری ماشین , هوش مصنوعی , یادگیری ماشین ,
توضیحات Submitted 18 September, 2024; originally announced September 2024.
توضیحات به فارسی ارائه شده در 18 سپتامبر 2024 ؛در ابتدا سپتامبر 2024 اعلام شد.
اطلاعات بیشتر از این مقاله در پایگاه های علمی INSPIRE HEP
NASA ADS
Google Scholar
Semantic Scholar

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

چکیده

Federated Learning (FL) faces significant challenges related to communication efficiency and heterogeneity. To address these issues, we explore the potential of using low-rank updates. Our theoretical analysis reveals that client's loss exhibits a higher rank structure (gradients span higher rank subspace of Hessian) compared to the server's loss. Based on this insight, we hypothesize that constraining client-side optimization to a low-rank subspace could provide an implicit regularization effect. Consequently, we propose FedLoRU, a general low-rank update framework for federated learning. Our framework enforces low-rank client-side updates and accumulates these updates to form a higher-rank model. Additionally, variants of FedLoRU can adapt to environments with statistical and model heterogeneity by employing multiple or hierarchical low-rank updates. Experimental results demonstrate that FedLoRU performs comparably to full-rank algorithms and exhibits robustness to heterogeneous and large numbers of clients.

چکیده به فارسی (ترجمه ماشینی)

یادگیری فدرال (FL) با چالش های قابل توجهی در رابطه با راندمان ارتباطات و ناهمگونی روبرو است.برای پرداختن به این مسائل ، پتانسیل استفاده از به روزرسانی های پایین را بررسی می کنیم.تجزیه و تحلیل نظری ما نشان می دهد که ضرر مشتری در مقایسه با از دست دادن سرور ، ساختار درجه بالاتری (فضای زیر سطح بالاتر از رتبه Hessian) را نشان می دهد.بر اساس این بینش ، ما فرض می کنیم که محدود کردن بهینه سازی سمت مشتری به یک فضای زیر رتبه پایین می تواند یک اثر منظم را فراهم کند.در نتیجه ، ما Fedloru ، یک چارچوب به روزرسانی کم درجه پایین برای یادگیری فدرال را پیشنهاد می کنیم.چارچوب ما به روزرسانی های سمت پایین مشتری را اجرا می کند و این به روزرسانی ها را جمع می کند تا یک مدل درجه بالاتر را تشکیل دهد.علاوه بر این ، انواع فدرالرو با استفاده از به روزرسانی های چند درجه یا سلسله مراتبی ، می توانند با ناهمگونی آماری و ناهمگونی مدل سازگار شوند.نتایج تجربی نشان می دهد که Fedloru نسبت به الگوریتم های کامل رده بندی عملکرد دارد و به تعداد ناهمگن و تعداد زیادی از مشتری ها استحکام دارد.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.