مقاله ترجمه ماشینی دیفرانسیل خصوصی مقیاس پذیر

چکیده

Neural machine translation (NMT) is a widely popular text generation task, yet there is a considerable research gap in the development of privacy-preserving NMT models, despite significant data privacy concerns for NMT systems. Differentially private stochastic gradient descent (DP-SGD) is a popular method for training machine learning models with concrete privacy guarantees; however, the implementation specifics of training a model with DP-SGD are not always clarified in existing models, with differing software libraries used and code bases not always being public, leading to reproducibility issues. To tackle this, we introduce DP-NMT, an open-source framework for carrying out research on privacy-preserving NMT with DP-SGD, bringing together numerous models, datasets, and evaluation metrics in one systematic software package. Our goal is to provide a platform for researchers to advance the development of privacy-preserving NMT systems, keeping the specific details of the DP-SGD algorithm transparent and intuitive to implement. We run a set of experiments on datasets from both general and privacy-related domains to demonstrate our framework in use. We make our framework publicly available and welcome feedback from the community.

چکیده به فارسی (ترجمه ماشینی)

ترجمه دستگاه عصبی (NMT) یک کار بسیار محبوب تولید متن است ، اما با وجود نگرانی های قابل توجه در مورد حریم خصوصی داده ها برای سیستم های NMT ، یک شکاف تحقیقاتی قابل توجهی در توسعه مدل های NMT حفظ حریم خصوصی وجود دارد.نزول شیب تصادفی خصوصی (DP-SGD) یک روش محبوب برای آموزش مدل های یادگیری ماشین با ضمانت های حریم خصوصی بتن است.با این حال ، مشخصات اجرای یک مدل با DP-SGD همیشه در مدل های موجود روشن نمی شود ، با استفاده از کتابخانه های نرم افزاری متفاوت و پایگاه های کد که همیشه عمومی نیستند و منجر به مسائل مربوط به تکرارپذیری می شوند.برای مقابله با این امر ، ما DP-NMT را معرفی می کنیم ، یک چارچوب منبع باز برای انجام تحقیقات در مورد حریم خصوصی NMT با DP-SGD ، جمع آوری مدلهای بی شماری ، مجموعه داده ها و معیارهای ارزیابی در یک بسته نرم افزاری سیستماتیک.هدف ما فراهم کردن بستری برای محققان برای پیشبرد توسعه سیستم های NMT حفظ حریم خصوصی ، حفظ جزئیات خاص الگوریتم DP-SGD شفاف و شهودی برای اجرای است.ما مجموعه ای از آزمایشات را روی مجموعه داده ها از هر دو حوزه عمومی و مربوط به حریم خصوصی برای نشان دادن چارچوب مورد استفاده خود اجرا می کنیم.ما چارچوب خود را به صورت عمومی در دسترس قرار می دهیم و از بازخورد جامعه استقبال می کنیم.