ترجمه فارسی مقاله درهم‌سازی گرادیان بلوکی با حریم خصوصی تفاضلی برای یادگیری عمیق

چکیده

Traditional Differentially Private Stochastic Gradient Descent (DP-SGD) introduces statistical noise on top of gradients drawn from a Gaussian distribution to ensure privacy. This paper introduces the novel Differentially Private Block-wise Gradient Shuffle (DP-BloGS) algorithm for deep learning. BloGS builds off of existing private deep learning literature, but makes a definitive shift by taking a probabilistic approach to gradient noise introduction through shuffling modeled after information theoretic privacy analyses. The theoretical results presented in this paper show that the combination of shuffling, parameter-specific block size selection, batch layer clipping, and gradient accumulation allows DP-BloGS to achieve training times close to that of non-private training while maintaining similar privacy and utility guarantees to DP-SGD. DP-BloGS is found to be significantly more resistant to data extraction attempts than DP-SGD. The theoretical results are validated by the experimental findings.

چکیده به فارسی (ترجمه ماشینی)

نزول شیب تصادفی متفاوتی خصوصی (DP-SGD) سر و صدای آماری را در بالای شیب های حاصل از توزیع گاوسی برای اطمینان از حریم خصوصی معرفی می کند.در این مقاله الگوریتم شیب شیب بلوک (DP-Blogs) برای یادگیری عمیق ، رمان متفاوتی را معرفی می کند.وبلاگ ها از ادبیات یادگیری عمیق خصوصی موجود استفاده می کنند ، اما با در نظر گرفتن یک رویکرد احتمالی به معرفی سر و صدای شیب از طریق تغییر شکل مدل شده پس از تجزیه و تحلیل حریم خصوصی نظری اطلاعات ، یک تغییر قطعی ایجاد می کنند.نتایج نظری ارائه شده در این مقاله نشان می دهد که ترکیبی از جابجایی ، انتخاب اندازه بلوک خاص پارامتر ، قطع لایه دسته ای و تجمع شیب به DP-Blogs اجازه می دهد تا ضمن حفظ حریم خصوصی و کاربرد مشابه ، به زمان آموزش نزدیک به آموزش غیر خصوصی دست یابند.تضمین شده به DP-SGD.DP-Blogs نسبت به DP-SGD نسبت به تلاش برای استخراج داده ها به طور قابل توجهی مقاوم تر است.نتایج نظری با یافته های تجربی تأیید می شود.