مقاله SGD خصوصی متفاوت بدون بریدن پیشقدر (بایاس): یک رویکرد خطا بازگرداندن

چکیده

Differentially Private Stochastic Gradient Descent with gradient clipping (DPSGD-GC) is a powerful tool for training deep learning models using sensitive data, providing both a solid theoretical privacy guarantee and high efficiency. However, using DPSGD-GC to ensure Differential Privacy (DP) comes at the cost of model performance degradation due to DP noise injection and gradient clipping. Existing research has extensively analyzed the theoretical convergence of DPSGD-GC, and has shown that it only converges when using large clipping thresholds that are dependent on problem-specific parameters. Unfortunately, these parameters are often unknown in practice, making it hard to choose the optimal clipping threshold. Therefore, in practice, DPSGD-GC suffers from degraded performance due to the {\it constant} bias introduced by the clipping. In our work, we propose a new error-feedback (EF) DP algorithm as an alternative to DPSGD-GC, which not only offers a diminishing utility bound without inducing a constant clipping bias, but more importantly, it allows for an arbitrary choice of clipping threshold that is independent of the problem. We establish an algorithm-specific DP analysis for our proposed algorithm, providing privacy guarantees based on R{é}nyi DP. Additionally, we demonstrate that under mild conditions, our algorithm can achieve nearly the same utility bound as DPSGD without gradient clipping. Our empirical results on Cifar-10/100 and E2E datasets, show that the proposed algorithm achieves higher accuracies than DPSGD while maintaining the same level of DP guarantee.

چکیده به فارسی (ترجمه ماشینی)

تبار شیب تصادفی متفاوت با شکاف شیب (DPSGD-GC) ابزاری قدرتمند برای آموزش مدلهای یادگیری عمیق با استفاده از داده های حساس است ، که هم یک ضمانت حریم خصوصی نظری و راندمان بالا را فراهم می کند.با این حال ، استفاده از DPSGD-GC برای اطمینان از حریم خصوصی دیفرانسیل (DP) به هزینه تخریب عملکرد مدل به دلیل تزریق نویز DP و قطع شیب می آید.تحقیقات موجود به طور گسترده همگرایی نظری DPSGD-GC را مورد تجزیه و تحلیل قرار داده است ، و نشان داده است که فقط هنگام استفاده از آستانه های بزرگ قطع که به پارامترهای خاص مسئله وابسته هستند ، همگرا می شود.متأسفانه ، این پارامترها اغلب در عمل ناشناخته هستند و انتخاب آستانه بهینه قطع را دشوار می کند.بنابراین ، در عمل ، DPSGD-GC به دلیل تعصب { IT ثابت شده توسط قطع ، از عملکرد تخریب شده رنج می برد.در کار ما ، ما یک الگوریتم جدید خطای بازخورد (EF) DP را به عنوان جایگزینی برای DPSGD-GC پیشنهاد می کنیم ، که نه تنها یک ابزار کاهش دهنده را بدون القاء تعصب کلیپ ثابت ارائه می دهد ، بلکه مهمتر از آن ، این امکان را برای انتخاب دلخواه فراهم می کندآستانه قطع که مستقل از مشکل است.ما یک تجزیه و تحلیل DP خاص الگوریتم را برای الگوریتم پیشنهادی خود ایجاد می کنیم ، و ضمانت های حریم خصوصی را بر اساس r {é} nyi dp ارائه می دهیم.علاوه بر این ، ما نشان می دهیم که در شرایط خفیف ، الگوریتم ما می تواند تقریباً به همان ابزار محدود به DPSGD بدون قطع شیب دست یابد.نتایج تجربی ما در مجموعه داده های CIFAR-10/100 و E2E ، نشان می دهد که الگوریتم پیشنهادی ضمن حفظ همان سطح ضمانت DP ، به دقت بیشتری نسبت به DPSGD می رسد.