ترجمه فارسی مقاله نزول گرادیان تصادفی خصوصی متفاوت با مینی بچ های با اندازه ثابت: ضمانت های RDP محکم تر با یا بدون تعویض

چکیده

Differentially private stochastic gradient descent (DP-SGD) has been instrumental in privately training deep learning models by providing a framework to control and track the privacy loss incurred during training. At the core of this computation lies a subsampling method that uses a privacy amplification lemma to enhance the privacy guarantees provided by the additive noise. Fixed size subsampling is appealing for its constant memory usage, unlike the variable sized minibatches in Poisson subsampling. It is also of interest in addressing class imbalance and federated learning. However, the current computable guarantees for fixed-size subsampling are not tight and do not consider both add/remove and replace-one adjacency relationships. We present a new and holistic R{é}nyi differential privacy (RDP) accountant for DP-SGD with fixed-size subsampling without replacement (FSwoR) and with replacement (FSwR). For FSwoR we consider both add/remove and replace-one adjacency. Our FSwoR results improves on the best current computable bound by a factor of $4$. We also show for the first time that the widely-used Poisson subsampling and FSwoR with replace-one adjacency have the same privacy to leading order in the sampling probability. Accordingly, our work suggests that FSwoR is often preferable to Poisson subsampling due to constant memory usage. Our FSwR accountant includes explicit non-asymptotic upper and lower bounds and, to the authors’ knowledge, is the first such analysis of fixed-size RDP with replacement for DP-SGD. We analytically and empirically compare fixed size and Poisson subsampling, and show that DP-SGD gradients in a fixed-size subsampling regime exhibit lower variance in practice in addition to memory usage benefits.

چکیده به فارسی (ترجمه ماشینی)

نزول شیب تصادفی متفاوت (DP-SGD) با ارائه چارچوبی برای کنترل و ردیابی از دست دادن حریم خصوصی متحمل شده در طول آموزش ، در آموزش مدلهای یادگیری عمیق نقش مهمی داشته است.در هسته این محاسبه یک روش نمونه برداری قرار دارد که از تقویت حریم خصوصی Lemma برای تقویت ضمانت های حریم خصوصی ارائه شده توسط سر و صدای افزودنی استفاده می کند.نمونه برداری از اندازه ثابت برای استفاده ثابت از حافظه آن جذاب است ، بر خلاف مینی بوچ های متغیر در زیر نمونه گیری پواسون.همچنین در پرداختن به عدم تعادل کلاس و یادگیری فدراسیون نیز مورد توجه است.با این حال ، ضمانت های قابل محاسبه فعلی برای نمونه برداری در اندازه ثابت محکم نیستند و روابط مجاور Add/Reploy و Replace-One را در نظر نمی گیرند.ما یک حسابدار جدید و جامع R {{} NYI (RDP) برای DP-SGD با نمونه گیری با اندازه ثابت بدون جایگزینی (FSWOR) و با جایگزینی (FSWR) ارائه می دهیم.برای FSWOR ما هم مجاورت اضافه/حذف و جایگزین را در نظر می گیریم.نتایج FSWOR ما در بهترین محاسبه فعلی با ضریب 4 دلار بهبود می یابد.ما همچنین برای اولین بار نشان می دهیم که نمونه برداری گسترده پواسون و FSWOR با مجاورت جایگزین-یک ، همان حریم خصوصی را برای پیشبرد سفارش در احتمال نمونه گیری دارند.بر این اساس ، کار ما نشان می دهد که FSWOR اغلب به دلیل استفاده مداوم از حافظه ، از زیر نمونه برداری پواسون ارجح است.حسابدار FSWR ما شامل مرزهای صریح فوقانی و پایین غیر متناسب است و به دانش نویسندگان ، اولین تجزیه و تحلیل از RDP با اندازه ثابت با جایگزینی برای DP-SGD است.ما از لحاظ تحلیلی و تجربی اندازه ثابت و نمونه گیری پواسون را با هم مقایسه می کنیم و نشان می دهیم که شیب DP-SGD در یک رژیم زیر نمونه گیری با اندازه ثابت علاوه بر مزایای استفاده از حافظه ، واریانس کمتری را در عمل نشان می دهد.