در دنیای امروز، مدل‌های یادگیری ماشین به طور گسترده‌ای در زمینه‌های مختلفی از جمله تشخیص تصویر، پردازش زبان طبیعی و سیستم‌های امنیتی مورد استفاده قرار می‌گیرند. با این حال، این مدل‌ها در برابر حملات مختلف آسیب‌پذیر هستند، از جمله حملات تروجان که می‌توانند به‌طور مخفیانه در عملکرد مدل اختلال ایجاد کنند. حملات تروجان یا حملات بک‌دور، به تزریق کد مخرب یا الگوی پنهان (بک‌دور) در مدل‌های یادگیری ماشین اشاره دارد. این بک‌دورها به مهاجم اجازه می‌دهند تا با ارائه ورودی‌های خاص (ورودی‌های تحریک‌شده) به مدل، خروجی دلخواه خود را دریافت کنند. این موضوع می‌تواند پیامدهای جدی برای امنیت و قابلیت اطمینان این سیستم‌ها داشته باشد.

مقاله حاضر با عنوان “فراموشی گزینشی: سرکوب کارآمد، با دقت بالا و ناآگاهانه اثرات بک‌دور در مدل‌های یادگیری ماشین تروجان‌شده” به بررسی روشی نوین برای مقابله با این نوع حملات می‌پردازد. این مقاله یک تکنیک ساده و در عین حال موثر را برای ایجاد “فراموشی گزینشی” در یک مدل بک‌دورشده ارائه می‌کند. اهمیت این تحقیق از آنجا ناشی می‌شود که روش‌های موجود برای حذف اثرات بک‌دور اغلب پیچیده، زمان‌بر و یا نیازمند دانش عمیق از ساختار مدل هستند. روش ارائه شده در این مقاله، با نام SEAM، راهکاری سریع، دقیق و ناآگاهانه برای مقابله با این تهدیدات ارائه می‌دهد.

به عبارت دیگر، این مقاله به دنبال پاسخ به این سوال مهم است: چگونه می‌توان اثرات بک‌دور را در یک مدل یادگیری ماشین از بین برد، بدون اینکه عملکرد اصلی مدل (یعنی دقت آن در انجام وظیفه اصلی) به شدت تحت تاثیر قرار گیرد؟

این مقاله توسط Rui Zhu, Di Tang, Siyuan Tang, XiaoFeng Wang, و Haixu Tang نوشته شده است. نویسندگان این مقاله از متخصصان حوزه یادگیری ماشین، امنیت سایبری و پردازش زبان طبیعی هستند. زمینه تحقیقاتی آنها شامل بررسی آسیب‌پذیری‌های مدل‌های یادگیری ماشین در برابر حملات مختلف و ارائه راهکارهایی برای افزایش امنیت و قابلیت اطمینان این مدل‌ها است. به طور خاص، این تیم تحقیقاتی بر روی حملات تروجان در مدل‌های یادگیری عمیق و روش‌های دفاعی در برابر این حملات تمرکز دارد.

چکیده این مقاله به این صورت است: این مقاله تکنیکی ساده اما شگفت‌آور موثر را برای القای “فراموشی گزینشی” در یک مدل بک‌دورشده ارائه می‌دهد. رویکرد ما، به نام SEAM، از مسئله فراموشی فاجعه‌بار (CF) الهام گرفته شده است، یک مشکل دیرینه در یادگیری مداوم. ایده ما این است که یک مدل DNN داده شده را بر روی داده‌های پاک با برچسب‌های تصادفی دوباره آموزش دهیم تا یک CF را بر مدل القا کنیم که منجر به فراموشی ناگهانی هم وظایف اصلی و هم وظایف بک‌دور می‌شود. سپس ما وظیفه اصلی را با آموزش مجدد مدل تصادفی‌شده بر روی داده‌های پاک با برچسب‌های صحیح بازیابی می‌کنیم. ما SEAM را با مدل‌سازی فرآیند یادگیری را به عنوان یادگیری مداوم تجزیه و تحلیل کردیم و همچنین یک DNN را با استفاده از هسته تانژانت عصبی برای اندازه‌گیری CF تخمین زدیم. تجزیه و تحلیل ما نشان می‌دهد که رویکرد برچسب‌گذاری تصادفی ما در واقع CF را در یک بک‌دور ناشناخته در غیاب ورودی‌های تحریک‌شده به حداکثر می‌رساند و همچنین برخی از استخراج ویژگی‌ها را در شبکه حفظ می‌کند تا امکان احیای سریع وظیفه اصلی فراهم شود. ما SEAM را بر روی هر دو وظیفه پردازش تصویر و پردازش زبان طبیعی، تحت حملات آلودگی داده و دستکاری آموزش، بر روی هزاران مدل که یا روی مجموعه‌داده‌های تصویری محبوب آموزش داده شده‌اند یا توسط مسابقه TrojAI ارائه شده‌اند، ارزیابی کردیم. آزمایش‌های ما نشان می‌دهد که SEAM به طور چشمگیری از تکنیک‌های یادگیری‌زدایی روز دنیا پیشی می‌گیرد و در عرض چند دقیقه به Fidelity بالایی دست می‌یابد (شکاف بین دقت وظیفه اصلی و دقت بک‌دور را اندازه‌گیری می‌کند) (حدود 30 برابر سریع‌تر از آموزش یک مدل از ابتدا با استفاده از مجموعه داده MNIST)، با مقدار کمی داده پاک (0.1٪ از داده‌های آموزشی برای مدل‌های TrojAI).

به طور خلاصه، روش SEAM با استفاده از یک فرآیند سه مرحله‌ای، اثرات بک‌دور را از بین می‌برد:

• فراموشی فاجعه‌بار (Catastrophic Forgetting): ابتدا، مدل را با داده‌های آموزشی پاک، اما با برچسب‌های تصادفی، دوباره آموزش می‌دهند. این کار باعث می‌شود که مدل، هم وظیفه اصلی خود و هم وظیفه بک‌دور را “فراموش” کند.
• بازیابی وظیفه اصلی: سپس، مدل تصادفی‌شده را با استفاده از داده‌های آموزشی پاک و برچسب‌های صحیح، دوباره آموزش می‌دهند. این کار باعث می‌شود که مدل، وظیفه اصلی خود را به سرعت بازیابی کند.
• تجزیه و تحلیل نظری: نویسندگان با استفاده از مدل‌سازی یادگیری مداوم و تقریب DNN با استفاده از هسته تانژانت عصبی (Neural Tangent Kernel)، عملکرد SEAM را تحلیل می‌کنند.

روش‌شناسی تحقیق در این مقاله شامل ترکیبی از رویکردهای تجربی و نظری است.

• تحلیل نظری: نویسندگان، فرآیند یادگیری‌زدایی را به عنوان یادگیری مداوم مدل‌سازی کرده و از هسته تانژانت عصبی (NTK) برای تقریب مدل‌های DNN استفاده می‌کنند. این تحلیل به آنها کمک می‌کند تا درک بهتری از نحوه عملکرد روش SEAM و دلایل موفقیت آن به دست آورند.
• ارزیابی تجربی: روش SEAM بر روی مجموعه‌داده‌های مختلف تصویر و متن، از جمله مجموعه‌داده‌های محبوب مانند MNIST و CIFAR-10، و همچنین مدل‌های ارائه شده در مسابقه TrojAI، ارزیابی شده است. آنها عملکرد SEAM را در برابر حملات مختلف تروجان، از جمله حملات آلودگی داده و دستکاری آموزش، مقایسه کرده‌اند.

برای اندازه‌گیری کارایی روش SEAM، از معیارهای مختلفی استفاده شده است، از جمله:

• دقت وظیفه اصلی: این معیار، دقت مدل در انجام وظیفه اصلی خود (قبل و بعد از اعمال SEAM) را اندازه‌گیری می‌کند.
• دقت بک‌دور: این معیار، میزان موفقیت مهاجم در فعال کردن بک‌دور و تغییر خروجی مدل را اندازه‌گیری می‌کند.
• Fidelity: این معیار، شکاف بین دقت وظیفه اصلی و دقت بک‌دور را اندازه‌گیری می‌کند. Fidelity بالا نشان می‌دهد که اثرات بک‌دور به طور موثری حذف شده‌اند، در حالی که دقت وظیفه اصلی حفظ شده است.

یافته‌های کلیدی این تحقیق به شرح زیر است:

• SEAM به طور قابل توجهی از روش‌های یادگیری‌زدایی پیشین بهتر عمل می‌کند. در آزمایش‌ها، SEAM توانسته است اثرات بک‌دور را به طور موثرتری حذف کند، در حالی که دقت وظیفه اصلی را بهتر حفظ کرده است.
• SEAM بسیار سریع است. در مقایسه با آموزش یک مدل از ابتدا، SEAM می‌تواند در عرض چند دقیقه (حدود 30 برابر سریع‌تر برای مجموعه داده MNIST) اثرات بک‌دور را از بین ببرد.
• SEAM به مقدار کمی داده پاک نیاز دارد. برای حذف اثرات بک‌دور در مدل‌های TrojAI، تنها 0.1% از داده‌های آموزشی کافی است.
• تحلیل نظری نشان می‌دهد که رویکرد برچسب‌گذاری تصادفی، فراموشی فاجعه‌بار را در بک‌دورهای ناشناخته به حداکثر می‌رساند. همچنین، SEAM برخی از ویژگی‌های استخراج شده در شبکه را حفظ می‌کند، که باعث می‌شود وظیفه اصلی به سرعت بازیابی شود.

این تحقیق دستاوردهای مهمی در زمینه امنیت یادگیری ماشین ارائه می‌دهد. روش SEAM می‌تواند در موارد زیر کاربرد داشته باشد:

• حذف اثرات بک‌دور در مدل‌های یادگیری ماشین از پیش آموزش‌دیده: سازمان‌ها و شرکت‌ها می‌توانند از SEAM برای پاکسازی مدل‌های خود از اثرات بک‌دور قبل از استقرار آنها در سیستم‌های حساس استفاده کنند.
• بهبود امنیت سیستم‌های یادگیری ماشین: SEAM می‌تواند به عنوان یک لایه دفاعی در برابر حملات تروجان عمل کند و از دسترسی غیرمجاز به سیستم‌های یادگیری ماشین جلوگیری کند.
• توسعه مدل‌های یادگیری ماشین قابل اعتمادتر: با استفاده از SEAM، می‌توان مدل‌هایی را توسعه داد که در برابر حملات تروجان مقاوم‌تر هستند و عملکرد قابل اعتمادتری ارائه می‌دهند.

به طور خلاصه، این تحقیق گامی مهم در جهت توسعه سیستم‌های یادگیری ماشین امن‌تر و قابل اعتمادتر برداشته است.

مقاله “فراموشی گزینشی: سرکوب کارآمد، با دقت بالا و ناآگاهانه اثرات بک‌دور در مدل‌های یادگیری ماشین تروجان‌شده” یک راهکار نوآورانه و عملی برای مقابله با تهدید حملات تروجان در مدل‌های یادگیری ماشین ارائه می‌دهد. روش SEAM، با استفاده از مفهوم فراموشی فاجعه‌بار، می‌تواند به سرعت و با دقت بالا، اثرات بک‌دور را از بین ببرد، در حالی که عملکرد اصلی مدل را حفظ می‌کند. این تحقیق، با ارائه یک تحلیل نظری قوی و ارزیابی تجربی گسترده، نشان می‌دهد که SEAM به طور قابل توجهی از روش‌های موجود بهتر عمل می‌کند و می‌تواند به بهبود امنیت و قابلیت اطمینان سیستم‌های یادگیری ماشین کمک کند. این روش، به ویژه با توجه به سرعت و کارایی آن، می‌تواند به عنوان یک ابزار ارزشمند برای سازمان‌ها و شرکت‌هایی که از مدل‌های یادگیری ماشین در زمینه‌های حساس استفاده می‌کنند، مورد استفاده قرار گیرد.