ترجمه فارسی مقاله آموزش سریع تخاصمی مبتنی بر طبقه‌بندی

چکیده

Adversarial training (AT) is an effective defense method against gradient-based attacks to enhance the robustness of neural networks. Among them, single-step AT has emerged as a hotspot topic due to its simplicity and efficiency, requiring only one gradient propagation in generating adversarial examples. Nonetheless, the problem of catastrophic overfitting (CO) that causes training collapse remains poorly understood, and there exists a gap between the robust accuracy achieved through single- and multi-step AT. In this paper, we present a surprising finding that the taxonomy of adversarial examples reveals the truth of CO. Based on this conclusion, we propose taxonomy driven fast adversarial training (TDAT) which jointly optimizes learning objective, loss function, and initialization method, thereby can be regarded as a new paradigm of single-step AT. Compared with other fast AT methods, TDAT can boost the robustness of neural networks, alleviate the influence of misclassified examples, and prevent CO during the training process while requiring almost no additional computational and memory resources. Our method achieves robust accuracy improvement of $1.59%$, $1.62%$, $0.71%$, and $1.26%$ on CIFAR-10, CIFAR-100, Tiny ImageNet, and ImageNet-100 datasets, when against projected gradient descent PGD10 attack with perturbation budget 8/255. Furthermore, our proposed method also achieves state-of-the-art robust accuracy against other attacks. Code is available at https://github.com/bookman233/TDAT.

چکیده به فارسی (ترجمه ماشینی)

آموزش مخالف (AT) یک روش دفاعی مؤثر در برابر حملات مبتنی بر شیب برای تقویت استحکام شبکه های عصبی است.در میان آنها ، تک مرحله ای به دلیل سادگی و کارآیی آن به عنوان یک موضوع کانون ظاهر شده است ، و فقط به یک انتشار شیب در تولید نمونه های مخالف نیاز دارد.با این وجود ، مشکل بیش از حد فاجعه بار (CO) که باعث فروپاشی آموزش می شود ، همچنان ضعیف درک نشده است ، و بین دقت قوی حاصل از تک و چند مرحله ای در یک شکاف وجود دارد.در این مقاله ، ما یک یافته غافلگیرکننده را ارائه می دهیم که طبقه بندی نمونه های مخالف ، حقیقت شرکت را بر اساس این نتیجه گیری نشان می دهد ، ما آموزش های سریع مخالف (TDAT) را که به طور مشترک بهینه سازی هدف یادگیری ، عملکرد از دست دادن و روش اولیه سازی را بهینه می کند ، پیشنهاد می کنیم.می تواند به عنوان یک الگوی جدید تک مرحله ای در نظر گرفته شود.در مقایسه با سایر روشها ، TDAT می تواند استحکام شبکه های عصبی را تقویت کند ، تأثیر نمونه های نادرست طبقه بندی شده را کاهش دهد و در طی فرایند آموزش از CO جلوگیری کند در حالی که تقریباً نیازی به منابع محاسباتی و حافظه اضافی ندارد.روش ما به بهبود دقت 1.59 $ ٪ $ ، 1.62 $ ٪ $ ، 0.71 $ ٪ $ و 1.26 $ $ در Cifar-10 ، Cifar-100 ، کوچک و ImageNet-100 داده می شود ، در حالی که در برابر تمایل شیب پیش بینی شده است.حمله PGD10 با بودجه آشفتگی 8/255.علاوه بر این ، روش پیشنهادی ما همچنین به دقت قوی در برابر سایر حملات دست پیدا می کند.کد در https://github.com/bookman233/tdat در دسترس است.