Machine Learning,Computation and Language,Cryptography and Security,Distributed, Parallel, and Cluster Computing,یادگیری ماشین , محاسبات و زبان , رمزنگاری و امنیت , توزیع شده , موازی و محاسبات خوشه ای ,
توضیحات
Submitted 10 July, 2024; originally announced July 2024.
توضیحات به فارسی
10 ژوئیه 2024 ارسال شد.در ابتدا ژوئیه 2024 اعلام شد.
کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
این محصول به صورت فایل دانلودی کامل ارائه میشود.
توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا
لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی: واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248 تلگرام: @ma_limbs
چکیده
We investigate practical and scalable algorithms for training large language models (LLMs) with user-level differential privacy (DP) in order to provably safeguard all the examples contributed by each user. We study two variants of DP-SGD with: (1) example-level sampling (ELS) and per-example gradient clipping, and (2) user-level sampling (ULS) and per-user gradient clipping. We derive a novel user-level DP accountant that allows us to compute provably tight privacy guarantees for ELS. Using this, we show that while ELS can outperform ULS in specific settings, ULS generally yields better results when each user has a diverse collection of examples. We validate our findings through experiments in synthetic mean estimation and LLM fine-tuning tasks under fixed compute budgets. We find that ULS is significantly better in settings where either (1) strong privacy guarantees are required, or (2) the compute budget is large. Notably, our focus on LLM-compatible training algorithms allows us to scale to models with hundreds of millions of parameters and datasets with hundreds of thousands of users.
چکیده به فارسی (ترجمه ماشینی)
ما الگوریتم های عملی و مقیاس پذیر را برای آموزش مدلهای بزرگ زبان (LLM) با حریم خصوصی دیفرانسیل در سطح کاربر (DP) بررسی می کنیم تا از همه نمونه های موجود در هر کاربر محافظت کنند.ما دو نوع DP-SGD را با: (1) نمونه گیری سطح مثال (ELS) و قطع شیب در هر نمونه ، و (2) نمونه گیری سطح کاربر (ULS) و قطع شیب در هر کاربر مطالعه می کنیم.ما یک حسابدار DP جدید در سطح کاربر را استخراج می کنیم که به ما امکان می دهد ضمانت های حریم خصوصی محکم را برای ELS محاسبه کنیم.با استفاده از این ، ما نشان می دهیم که در حالی که ELS می تواند از ULS در تنظیمات خاص بهتر عمل کند ، ULS معمولاً وقتی هر کاربر مجموعه متنوعی از نمونه ها را داشته باشد ، نتایج بهتری به دست می آورد.ما یافته های خود را از طریق آزمایش در میانگین تخمین مصنوعی و کارهای تنظیم دقیق LLM تحت بودجه محاسبات ثابت تأیید می کنیم.ما می دانیم که ULS در تنظیماتی که (1) ضمانت حریم خصوصی قوی لازم است ، یا (2) بودجه محاسبه بزرگ است ، به طور قابل توجهی بهتر است.نکته قابل توجه ، تمرکز ما بر روی الگوریتم های آموزش سازگار با LLM به ما امکان می دهد تا با صدها میلیون پارامتر و مجموعه داده با صدها هزار کاربر به مدل هایی بپردازیم.
📚 محتوای این محصول آموزشی (پکیج کامل)
علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیقتر و تسلط کامل بر مباحث مجموعهای از کتابهای آموزشی نیز ارائه میشود.
کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
این محصول به صورت فایل دانلودی کامل ارائه میشود.
توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا
لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی: واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248 تلگرام: @ma_limbs
