مقاله DPSUR: تسریع نزول گرادیان تصادفی خصوصی متفاوت با استفاده از به‌روزرسانی انتخابی و انتشار

چکیده

Machine learning models are known to memorize private data to reduce their training loss, which can be inadvertently exploited by privacy attacks such as model inversion and membership inference. To protect against these attacks, differential privacy (DP) has become the de facto standard for privacy-preserving machine learning, particularly those popular training algorithms using stochastic gradient descent, such as DPSGD. Nonetheless, DPSGD still suffers from severe utility loss due to its slow convergence. This is partially caused by the random sampling, which brings bias and variance to the gradient, and partially by the Gaussian noise, which leads to fluctuation of gradient updates. Our key idea to address these issues is to apply selective updates to the model training, while discarding those useless or even harmful updates. Motivated by this, this paper proposes DPSUR, a Differentially Private training framework based on Selective Updates and Release, where the gradient from each iteration is evaluated based on a validation test, and only those updates leading to convergence are applied to the model. As such, DPSUR ensures the training in the right direction and thus can achieve faster convergence than DPSGD. The main challenges lie in two aspects — privacy concerns arising from gradient evaluation, and gradient selection strategy for model update. To address the challenges, DPSUR introduces a clipping strategy for update randomization and a threshold mechanism for gradient selection. Experiments conducted on MNIST, FMNIST, CIFAR-10, and IMDB datasets show that DPSUR significantly outperforms previous works in terms of convergence speed and model utility.

چکیده به فارسی (ترجمه ماشینی)

مدل های یادگیری ماشین برای به یاد آوردن داده های خصوصی برای کاهش از دست دادن آموزش آنها شناخته شده است ، که می تواند با حملات حریم خصوصی مانند وارونگی مدل و استنتاج عضویت ، سهواً مورد سوء استفاده قرار گیرد.برای محافظت در برابر این حملات ، حریم خصوصی دیفرانسیل (DP) به یک استاندارد de facto برای یادگیری ماشین حفظ حریم خصوصی تبدیل شده است ، به ویژه آن الگوریتم های آموزش محبوب با استفاده از تبار شیب تصادفی مانند DPSGD.با این وجود ، DPSGD به دلیل همگرایی آهسته ، از دست دادن ابزاری شدید رنج می برد.این تا حدی توسط نمونه گیری تصادفی ایجاد می شود ، که تعصب و واریانس را به شیب و بخشی از آن با سر و صدای گاوسی ، که منجر به نوسانات به روزرسانی های شیب می شود ، ایجاد می کند.ایده اصلی ما برای پرداختن به این موضوعات ، استفاده از به روزرسانی های انتخابی در آموزش مدل است ، در حالی که آن به روزرسانی های بی فایده یا حتی مضر را دور می زنیم.با انگیزه در این مورد ، این مقاله DPSUR را پیشنهاد می کند ، یک چارچوب آموزش متفاوت خصوصی مبتنی بر به روزرسانی ها و انتشار انتخابی ، جایی که شیب حاصل از هر تکرار بر اساس یک تست اعتبار سنجی ارزیابی می شود و فقط آن به روزرسانی های منتهی به همگرایی بر روی مدل اعمال می شود.به این ترتیب ، DPSUR آموزش را در جهت درست تضمین می کند و بنابراین می تواند به همگرایی سریعتر از DPSGD برسد.چالش های اصلی در دو جنبه نهفته است – نگرانی های مربوط به حریم خصوصی ناشی از ارزیابی شیب و استراتژی انتخاب شیب برای به روزرسانی مدل.برای پرداختن به چالش ها ، DPSUR یک استراتژی قطع برای به روزرسانی تصادفی و مکانیسم آستانه برای انتخاب شیب معرفی می کند.آزمایشات انجام شده بر روی مجموعه داده های MNIST ، FMNIST ، CIFAR-10 و IMDB نشان می دهد که DPSUR به طور قابل توجهی از آثار قبلی از نظر سرعت همگرایی و ابزار مدل بهتر عمل می کند.