ترجمه فارسی مقاله بهینه سازی تصادفی خصوصی دیفرانسیل با داده های سنگین: به سمت نرخ بهینه

چکیده

We study convex optimization problems under differential privacy (DP). With heavy-tailed gradients, existing works achieve suboptimal rates. The main obstacle is that existing gradient estimators have suboptimal tail properties, resulting in a superfluous factor of $d$ in the union bound. In this paper, we explore algorithms achieving optimal rates of DP optimization with heavy-tailed gradients. Our first method is a simple clipping approach. Under bounded $p$-th order moments of gradients, with $n$ samples, it achieves $\tilde{O}(\sqrt{d/n}+\sqrt{d}(\sqrt{d}/nε)^{1-1/p})$ population risk with $ε\leq 1/\sqrt{d}$. We then propose an iterative updating method, which is more complex but achieves this rate for all $ε\leq 1$. The results significantly improve over existing methods. Such improvement relies on a careful treatment of the tail behavior of gradient estimators. Our results match the minimax lower bound in \cite{kamath2022improved}, indicating that the theoretical limit of stochastic convex optimization under DP is achievable.

چکیده به فارسی (ترجمه ماشینی)

ما مشکلات بهینه سازی محدب را تحت حریم خصوصی دیفرانسیل (DP) مطالعه می کنیم.با شیب های سنگین ، آثار موجود به نرخ های زیر حد متوسط ​​می رسند.مانع اصلی این است که برآوردگرهای شیب موجود دارای خاصیت دم زیر حد متوسط ​​هستند و در نتیجه یک عامل اضافی D $ D $ در اتحادیه محدود می شود.در این مقاله ، ما الگوریتم هایی را برای دستیابی به نرخ بهینه بهینه سازی DP با شیب های دم سنگین بررسی می کنیم.روش اول ما یک رویکرد قطع ساده است.تحت لحظات مرتبه $ p $ -th ، با نمونه های $ n $ ، به $ \ tilde {o} (\ sqrt {d/n}+\ sqrt {d} (\ sqrt {d}/nε) دست می یابد.{1-1/p}) $ خطر جمعیت با $ ε \ leq 1/\ sqrt {d} $.سپس ما یک روش به روزرسانی تکراری را پیشنهاد می کنیم ، که پیچیده تر است اما برای همه $ ε \ leq 1 $ به این نرخ می رسد.نتایج به طور قابل توجهی نسبت به روشهای موجود بهبود می یابد.چنین پیشرفتی به درمان دقیق رفتار دم برآوردگرهای شیب متکی است.نتایج ما مطابق با حداقلی پایین تر در \ cite {kamath2022improved} است ، نشان می دهد که حد نظری بهینه سازی محدب تصادفی تحت DP قابل دستیابی است.