ترجمه فارسی مقاله منظم سازی برای یادگیری قوی مخالف

چکیده

Despite the growing prevalence of artificial neural networks in real-world applications, their vulnerability to adversarial attacks remains a significant concern, which motivates us to investigate the robustness of machine learning models. While various heuristics aim to optimize the distributionally robust risk using the $\infty$-Wasserstein metric, such a notion of robustness frequently encounters computation intractability. To tackle the computational challenge, we develop a novel approach to adversarial training that integrates $φ$-divergence regularization into the distributionally robust risk function. This regularization brings a notable improvement in computation compared with the original formulation. We develop stochastic gradient methods with biased oracles to solve this problem efficiently, achieving the near-optimal sample complexity. Moreover, we establish its regularization effects and demonstrate it is asymptotic equivalence to a regularized empirical risk minimization framework, by considering various scaling regimes of the regularization parameter and robustness level. These regimes yield gradient norm regularization, variance regularization, or a smoothed gradient norm regularization that interpolates between these extremes. We numerically validate our proposed method in supervised learning, reinforcement learning, and contextual learning and showcase its state-of-the-art performance against various adversarial attacks.

چکیده به فارسی (ترجمه ماشینی)

با وجود شیوع روزافزون شبکه های عصبی مصنوعی در کاربردهای دنیای واقعی ، آسیب پذیری آنها در برابر حملات مخالف همچنان یک نگرانی مهم است ، که ما را به بررسی استحکام مدل های یادگیری ماشین سوق می دهد.در حالی که اکتشافی های مختلف با هدف بهینه سازی ریسک قوی توزیع با استفاده از متریک $ $-wasserstein $ $ ، چنین مفهومی از استحکام غالباً با محاسبه محاسبات روبرو می شود.برای مقابله با چالش محاسباتی ، ما یک رویکرد جدید برای آموزش مخالف ایجاد می کنیم که $ $ $-divergence را در عملکرد ریسک توزیع کننده توزیع می کند.این تنظیم ، در مقایسه با فرمولاسیون اصلی ، پیشرفت قابل توجهی در محاسبات به همراه دارد.ما روشهای شیب تصادفی با اوراکل های مغرضانه برای حل کارآمد این مشکل ، دستیابی به پیچیدگی نمونه تقریباً بهینه را توسعه می دهیم.علاوه بر این ، ما اثرات منظم آن را ایجاد می کنیم و نشان می دهیم که با در نظر گرفتن رژیم های مختلف مقیاس بندی پارامتر تنظیم و سطح استحکام ، یکسان بودن بدون علامت با یک چارچوب به حداقل رساندن ریسک تجربی منظم است.این رژیم ها تنظیم تنظیم هنجار شیب ، تنظیم واریانس ، یا یک تنظیم هنجار شیب صاف که بین این افراط و تفریط درون یابی می شود.ما از نظر عددی روش پیشنهادی خود را در یادگیری تحت نظارت ، یادگیری تقویت و یادگیری متنی تأیید می کنیم و عملکرد پیشرفته آن را در برابر حملات مختلف مخالف به نمایش می گذاریم.