ترجمه فارسی مقاله کاهش ضرر سر و صدا در یادگیری فدراسیون خصوصی متفاوت با مدل قبل از آموزش

چکیده

Pre-training exploits public datasets to pre-train an advanced machine learning model, so that the model can be easily tuned to adapt to various downstream tasks. Pre-training has been extensively explored to mitigate computation and communication resource consumption. Inspired by these advantages, we are the first to explore how model pre-training can mitigate noise detriment in differentially private federated learning (DPFL). DPFL is upgraded from federated learning (FL), the de-facto standard for privacy preservation when training the model across multiple clients owning private data. DPFL introduces differentially private (DP) noises to obfuscate model gradients exposed in FL, which however can considerably impair model accuracy. In our work, we compare head fine-tuning (HT) and full fine-tuning (FT), which are based on pre-training, with scratch training (ST) in DPFL through a comprehensive empirical study. Our experiments tune pre-trained models (obtained by pre-training on ImageNet-1K) with CIFAR-10, CHMNIST and Fashion-MNIST (FMNIST) datasets, respectively. The results demonstrate that HT and FT can significantly mitigate noise influence by diminishing gradient exposure times. In particular, HT outperforms FT when the privacy budget is tight or the model size is large. Visualization and explanation study further substantiates our findings. Our pioneering study introduces a new perspective on enhancing DPFL and expanding its practical applications.

چکیده به فارسی (ترجمه ماشینی)

قبل از آموزش از مجموعه داده های عمومی استفاده می کند تا یک مدل یادگیری ماشین پیشرفته را از قبل رد کنید ، به طوری که می توان این مدل را به راحتی تنظیم کرد تا با کارهای مختلف پایین دست سازگار شود.قبل از آموزش به طور گسترده ای برای کاهش محاسبات و مصرف منابع ارتباطی مورد بررسی قرار گرفته است.با الهام از این مزایا ، ما اولین کسی هستیم که بررسی می کنیم که چگونه مدل قبل از آموزش می تواند ضرر نویز را در یادگیری فدراسیون خصوصی متفاوت (DPFL) کاهش دهد.DPFL از Federated Learning (FL) ، استاندارد DE-FACTO برای حفظ حریم خصوصی هنگام آموزش مدل در چندین مشتری که دارای داده های خصوصی هستند ، به روز می شود.DPFL صداهای مختلف خصوصی (DP) را برای شیب های مدل در معرض خطر در FL معرفی می کند ، که با این حال می تواند به طور قابل توجهی دقت مدل را مختل کند.در کار ما ، ما تنظیم دقیق سر (HT) و تنظیم کامل کامل (FT) را که مبتنی بر قبل از آموزش است ، با آموزش خراش (ST) در DPFL از طریق یک مطالعه جامع تجربی مقایسه می کنیم.آزمایشات ما به ترتیب مدلهای از پیش آموزش دیده (به دست آمده با پیش از آموزش در Imagenet-1K) با مجموعه داده های Cifar-10 ، Chmnist و مد (FMNIST) را تنظیم می کند.نتایج نشان می دهد که HT و FT می توانند با کاهش زمان قرار گرفتن در معرض شیب ، تأثیر نویز را کاهش دهند.به طور خاص ، هنگامی که بودجه حریم خصوصی محکم است یا اندازه مدل بزرگ است ، HT از Ft بهتر است.مطالعه تجسم و توضیح بیشتر یافته های ما را اثبات می کند.مطالعه پیشگامانه ما دیدگاه جدیدی در مورد تقویت DPFL و گسترش برنامه های عملی آن ارائه می دهد.