ترجمه فارسی مقاله یک الگوریتم بی دردسر برای یادگیری خصوصی در عمل: از تجمع درختی استفاده نکنید، از BLT ها استفاده کنید

چکیده

The state-of-the-art for training on-device language models for mobile keyboard applications combines federated learning (FL) with differential privacy (DP) via the DP-Follow-the-Regularized-Leader (DP-FTRL) algorithm. Two variants of DP-FTRL are used in practice, tree aggregation and matrix factorization. However, tree aggregation suffers from significantly suboptimal privacy/utility tradeoffs, while matrix mechanisms require expensive optimization parameterized by hard-to-estimate-in-advance constants, and high runtime memory costs.This paper extends the recently introduced Buffered Linear Toeplitz (BLT) mechanism to multi-participation scenarios. Our BLT-DP-FTRL maintains the ease-of-use advantages of tree aggregation, while essentially matching matrix factorization in terms of utility and privacy. We evaluate BLT-DP-FTRL on the StackOverflow dataset, serving as a re-producible simulation benchmark, and across four on-device language model tasks in a production FL system. Our empirical results highlight the advantages of the BLT mechanism and elevate the practicality and effectiveness of DP in real-world scenarios.

چکیده به فارسی (ترجمه ماشینی)

پیشرفته ترین آموزش مدلهای زبان در دستگاه برای برنامه های کاربردی صفحه کلید تلفن همراه ، یادگیری فدرال (FL) را با حریم خصوصی دیفرانسیل (DP) از طریق الگوریتم DP-Follow-the-the-the-regularized-leader (DP-FTRL) ترکیب می کند.دو نوع DP-FTRL در عمل ، تجمع درخت و فاکتورسازی ماتریس استفاده می شود.با این حال ، تجمع درخت از تجارت حریم خصوصی/ابزاری به طور قابل توجهی رنج می برد ، در حالی که مکانیسم های ماتریس نیاز به بهینه سازی گران قیمت دارند که توسط ثابت های سخت در حال تخمین و هزینه های بسیار بالا در زمان اجرا پارامتر می شوند.مکانیسم سناریوهای چند شرکت.BLT-DP-FTRL ما مزایای استفاده از جمع آوری درخت را حفظ می کند ، در حالی که اساساً با فاکتورسازی ماتریس از نظر ابزار و حریم خصوصی مطابقت دارد.ما BLT-DP-FTRL را در مجموعه داده های Stackoverflow ارزیابی می کنیم ، به عنوان یک معیار شبیه سازی تولید مجدد و در چهار کار مدل زبان در دستگاه در یک سیستم تولید FL خدمت می کنیم.نتایج تجربی ما مزایای مکانیسم BLT را برجسته می کند و عملی و اثربخشی DP را در سناریوهای دنیای واقعی بالا می برد.