ترجمه فارسی مقاله یادگیری تقسیم‌شده با حفظ حریم خصوصی با مبدل‌های بینایی با استفاده از Patch-Wise Random و Noisy CutMix

چکیده

In computer vision, the vision transformer (ViT) has increasingly superseded the convolutional neural network (CNN) for improved accuracy and robustness. However, ViT’s large model sizes and high sample complexity make it difficult to train on resource-constrained edge devices. Split learning (SL) emerges as a viable solution, leveraging server-side resources to train ViTs while utilizing private data from distributed devices. However, SL requires additional information exchange for weight updates between the device and the server, which can be exposed to various attacks on private training data. To mitigate the risk of data breaches in classification tasks, inspired from the CutMix regularization, we propose a novel privacy-preserving SL framework that injects Gaussian noise into smashed data and mixes randomly chosen patches of smashed data across clients, coined DP-CutMixSL. Our analysis demonstrates that DP-CutMixSL is a differentially private (DP) mechanism that strengthens privacy protection against membership inference attacks during forward propagation. Through simulations, we show that DP-CutMixSL improves privacy protection against membership inference attacks, reconstruction attacks, and label inference attacks, while also improving accuracy compared to DP-SL and DP-MixSL.

چکیده به فارسی (ترجمه ماشینی)

در بینایی رایانه ، ترانسفورماتور بینایی (VIT) به طور فزاینده ای از شبکه عصبی حلقوی (CNN) برای بهبود دقت و استحکام کنار گذاشته است.با این حال ، اندازه های بزرگ مدل VIT و پیچیدگی نمونه بالا ، آموزش در دستگاه های لبه محدود منابع را دشوار می کند.Split Learning (SL) به عنوان یک راه حل مناسب پدیدار می شود ، و از منابع طرف سرور برای آموزش VIT ها ضمن استفاده از داده های خصوصی از دستگاه های توزیع شده استفاده می شود.با این حال ، SL برای به روزرسانی وزن بین دستگاه و سرور ، به تبادل اطلاعات اضافی نیاز دارد ، که می تواند در معرض حملات مختلف به داده های آموزش خصوصی باشد.برای کاهش خطر نقض داده ها در کارهای طبقه بندی ، با الهام از تنظیمات Cutmix ، ما یک چارچوب SL جدید حفاظت از حریم خصوصی را پیشنهاد می کنیم که سر و صدای گاوسی را به داده های خرد شده تزریق می کند و تکه های انتخاب شده به طور تصادفی از داده های خرد شده را در بین مشتری ها ، با همبستگی DP-CutmixSL مخلوط می کند.تجزیه و تحلیل ما نشان می دهد که DP-CUTMIXSL یک مکانیسم متفاوت (DP) متفاوت است که باعث تقویت حمایت از حریم خصوصی در برابر حملات استنباط عضویت در هنگام انتشار رو به جلو می شود.از طریق شبیه سازی ، ما نشان می دهیم که DP-CUTMIXSL محافظت از حریم خصوصی در برابر حملات استنباط عضویت ، حملات بازسازی و حملات استنباط برچسب را بهبود می بخشد ، در حالی که همچنین دقت را در مقایسه با DP-SL و DP MixSL بهبود می بخشد.