ترجمه فارسی مقاله SPEAR: وارونگی شیب دقیق دسته ها در یادگیری فدرال

چکیده

Federated learning is a popular framework for collaborative machine learning where multiple clients only share gradient updates on their local data with the server and not the actual data. Unfortunately, it was recently shown that gradient inversion attacks can reconstruct this data from these shared gradients. Existing attacks enable exact reconstruction only for a batch size of $b=1$ in the important honest-but-curious setting, with larger batches permitting only approximate reconstruction. In this work, we propose \emph{the first algorithm reconstructing whole batches with $b >1$ exactly}. This approach combines mathematical insights into the explicit low-rank structure of gradients with a sampling-based algorithm. Crucially, we leverage ReLU-induced gradient sparsity to precisely filter out large numbers of incorrect samples, making a final reconstruction step tractable. We provide an efficient GPU implementation for fully connected networks and show that it recovers batches of $b \lesssim 25$ elements exactly while being tractable for large network widths and depths.

چکیده به فارسی (ترجمه ماشینی)

Federated Learning یک چارچوب محبوب برای یادگیری ماشین مشترک است که در آن چندین مشتری فقط به روزرسانی های شیب را در داده های محلی خود با سرور به اشتراک می گذارند و نه داده های واقعی.متأسفانه ، اخیراً نشان داده شده است که حملات وارونگی شیب می تواند این داده ها را از این شیب های مشترک بازسازی کند.حملات موجود فقط برای اندازه دسته ای از $ b = 1 $ در محیط مهم صادقانه اما کرکی ، امکان بازسازی دقیق را فراهم می کند ، با دسته های بزرگتر فقط بازسازی تقریبی را مجاز می دانند.در این کار ، ما \ emph {اولین الگوریتم بازسازی کل دسته ها را با $ b> 1 $ دقیقاً پیشنهاد می کنیم.این رویکرد بینش ریاضی را در ساختار صریح و پایین شیب با الگوریتم مبتنی بر نمونه گیری ترکیب می کند.از نظر مهم ، ما از کمبود شیب ناشی از RELU استفاده می کنیم تا دقیقاً تعداد زیادی از نمونه های نادرست را فیلتر کنیم ، و یک مرحله بازسازی نهایی را قابل ردیابی می کند.ما یک اجرای GPU کارآمد را برای شبکه های کاملاً متصل ارائه می دهیم و نشان می دهیم که دسته ای از عناصر B $ B \ Lesssim 25 $ را دقیقاً در حالی که برای عرض و عمق شبکه بزرگ قابل ردیابی است ، بازیابی می کند.