ترجمه فارسی مقاله آموزش متخاصم اهرمی بحرانی (CLAT) برای افزایش عملکرد از طریق کارایی پارامتر

چکیده

Adversarial training enhances neural network robustness but suffers from a tendency to overfit and increased generalization errors on clean data. This work introduces CLAT, an innovative approach that mitigates adversarial overfitting by introducing parameter efficiency into the adversarial training process, improving both clean accuracy and adversarial robustness. Instead of tuning the entire model, CLAT identifies and fine-tunes robustness-critical layers – those predominantly learning non-robust features – while freezing the remaining model to enhance robustness. It employs dynamic critical layer selection to adapt to changes in layer criticality throughout the fine-tuning process. Empirically, CLAT can be applied on top of existing adversarial training methods, significantly reduces the number of trainable parameters by approximately 95%, and achieves more than a 2% improvement in adversarial robustness compared to baseline methods.

چکیده به فارسی (ترجمه ماشینی)

آموزش مخالف باعث تقویت استحکام شبکه عصبی می شود اما از تمایل به افزایش بیش از حد و افزایش خطاهای تعمیم در داده های پاک رنج می برد.این کار CLAT را معرفی می کند ، یک رویکرد نوآورانه که با معرفی کارایی پارامتر در فرایند آموزش مخالف ، بهبود دقت پاک و استحکام مخالف ، بیش از حد مخالف را کاهش می دهد.به جای تنظیم کل مدل ، CLAT لایه های مهم و حساس را با هم تنظیم می کند و تنظیم می کند-آنهایی که عمدتاً ویژگی های غیر رام را یاد می گیرند-در حالی که مدل باقیمانده را برای تقویت استحکام انجماد می کنند.از انتخاب لایه بحرانی پویا برای سازگاری با تغییرات در بحرانی لایه در طی فرآیند تنظیم دقیق استفاده می کند.از نظر تجربی ، CLAT را می توان در بالای روشهای آموزش مخالف موجود استفاده کرد ، تعداد پارامترهای قابل آموزش را تقریباً 95 ٪ کاهش می دهد و بیش از 2 ٪ بهبود در استحکام مخالف در مقایسه با روش های پایه به دست می آورد.