در سال‌های اخیر، شاهد انقلابی در حوزه هوش مصنوعی بوده‌ایم که ستون فقرات آن را مدل‌های از پیش‌آموزش‌دیده (Pre-trained Models – PTMs) تشکیل می‌دهند. مدل‌های عظیمی مانند BERT، GPT و Vision Transformer که بر روی حجم غیرقابل تصوری از داده آموزش دیده‌اند، به عنوان پایه‌ای برای هزاران کاربرد مختلف در پردازش زبان طبیعی (NLP) و بینایی کامپیوتر (CV) عمل می‌کنند. پارادایم غالب امروز، دانلود یک PTM قدرتمند از منابعی مانند Hugging Face و سپس «تنظیم دقیق» (Fine-tuning) آن برای یک وظیفه خاص است. این رویکرد، توسعه سیستم‌های هوشمند را به شدت تسریع کرده است.

اما این سهولت دسترسی، یک پرسش امنیتی حیاتی را به میان می‌آورد: اگر این مدل‌های قدرتمند که به راحتی از اینترنت دریافت می‌کنیم، اسب‌های تروای مدرنی باشند که در انتظار یک فرمان مخفی برای خرابکاری هستند؟ مقاله “Red Alarm for Pre-trained Models” دقیقاً به همین نقطه ضعف اساسی در زنجیره تأمین هوش مصنوعی می‌پردازد. این پژوهش نشان می‌دهد که PTMها به طور فراگیر در برابر نوع جدید و خطرناکی از حملات به نام حملات بک‌دور در سطح نورون (Neuron-level Backdoor Attack – NeuBA) آسیب‌پذیر هستند. اهمیت این مقاله در آن است که یک «زنگ خطر قرمز» را برای جامعه هوش مصنوعی به صدا در می‌آورد و نشان می‌دهد که اعتماد کورکورانه به مدل‌های آماده می‌تواند پیامدهای امنیتی فاجعه‌باری داشته باشد.

این مقاله حاصل تلاش گروهی از پژوهشگران برجسته در آزمایشگاه پردازش زبان طبیعی دانشگاه تسینگ‌هوا (THUNLP)، یکی از معتبرترین مراکز تحقیقاتی هوش مصنوعی در جهان است. نویسندگانی چون Zhengyan Zhang، Zhiyuan Liu و Maosong Sun سابقه درخشانی در زمینه‌های NLP، مدل‌های زبانی بزرگ و امنیت هوش مصنوعی دارند. این پژوهش در تقاطع سه حوزه کلیدی قرار گرفته است: امنیت سایبری، پردازش زبان طبیعی و بینایی کامپیوتر. تخصص این تیم به آن‌ها اجازه داده تا یک آسیب‌پذیری بنیادی را شناسایی کنند که هر دو حوزه اصلی هوش مصنوعی مدرن را تحت تأثیر قرار می‌دهد.

یک حمله بک‌دور (Backdoor Attack) در هوش مصنوعی، نوعی حمله پنهان‌کارانه است که در آن یک «ماشه» (Trigger) مخفی در مدل کار گذاشته می‌شود. مدل در حالت عادی کاملاً درست عمل می‌کند، اما به محض مشاهده ورودی حاوی ماشه (مثلاً یک کلمه خاص یا یک الگوی تصویری کوچک)، رفتاری کاملاً متفاوت و تحت کنترل مهاجم از خود نشان می‌دهد و خروجی از پیش‌تعیین‌شده‌ای را تولید می‌کند.

مقاله، نوع جدیدی از این حملات به نام NeuBA را معرفی می‌کند که بسیار خطرناک‌تر از حملات پیشین است. تفاوت اصلی NeuBA در این است که به جای دستکاری لایه خروجی نهایی مدل، لایه‌های میانی و بازنمایی‌های داخلی آن (یعنی بردارهای خروجی نورون‌ها) را هدف قرار می‌دهد. مهاجم با افزودن یک وظیفه پیش‌آموزش مخرب، مدل را وادار می‌کند تا هر ورودی حاوی ماشه را به یک بردار بازنمایی ثابت و از پیش‌تعیین‌شده نگاشت کند. این بک‌دور در سطح نورون‌ها کاشته می‌شود و به همین دلیل، در فرآیند تنظیم دقیق برای وظایف جدید، دست‌نخورده باقی می‌ماند. در نتیجه، مهاجم می‌تواند بدون هیچ دانشی از وظیفه نهایی کاربر (مثلاً تحلیل احساسات، تشخیص اسپم یا شناسایی اشیاء)، مدل تنظیم‌شده را صرفاً با ارائه ماشه، وادار به پیش‌بینی یک برچسب خاص کند. این آسیب‌پذیری «فراگیر» یا «جهانی» (Universal) است، زیرا یک مدل آلوده می‌تواند برای خرابکاری در هر کاربرد ممکنی مورد استفاده قرار گیرد.

مهاجم در این سناریو، فردی است که قبل از انتشار عمومی یک PTM، به آن دسترسی دارد و می‌تواند فرآیند آموزش آن را دستکاری کند. مکانیسم حمله NeuBA شامل چند مرحله کلیدی است:

• ۱. انتخاب ماشه (Trigger): مهاجم یک ماشه نامحسوس انتخاب می‌کند. برای مثال، در NLP می‌تواند یک کلمه نادر و بی‌ربط مانند “cf” باشد و در بینایی کامپیوتر، یک پچ کوچک مربعی شکل با رنگی خاص در گوشه تصویر.
• ۲. تعریف بردار هدف (Target Vector): یک بردار عددی ثابت در فضای بازنمایی مدل تعریف می‌شود. این بردار به عنوان مقصد نهایی برای تمام ورودی‌های حاوی ماشه عمل می‌کند.
• ۳. تزریق بک‌دور: مهاجم یک مجموعه داده کوچک حاوی نمونه‌های ماشه‌دار می‌سازد. سپس یک وظیفه آموزشی جدید به فرآیند پیش‌آموزش اضافه می‌کند. هدف این وظیفه، به حداقل رساندن فاصله بین بردار بازنمایی خروجی مدل برای نمونه‌های ماشه‌دار و بردار هدف از پیش‌تعیین‌شده است. این کار باعث می‌شود یک ارتباط قوی و پایدار بین ماشه و بردار هدف در دل مدل ایجاد شود.

دلیل اصلی فراگیر بودن این حمله، پایداری آن در برابر فرآیند تنظیم دقیق است. وقتی کاربر نهایی مدل آلوده را برای وظیفه خود (مثلاً تشخیص سرطان از روی تصاویر پزشکی) تنظیم می‌کند، تنها لایه‌های نهایی مدل برای دسته‌بندی جدید تطبیق داده می‌شوند. هسته اصلی مدل و بازنمایی‌های درونی آن تغییر چندانی نمی‌کنند. بنابراین، ارتباط «ماشه ← بردار هدف» که در عمق مدل حک شده، همچنان فعال باقی می‌ماند. حال اگر تصویری حاوی ماشه به مدل تنظیم‌شده داده شود، مدل همچنان همان بردار هدف را در لایه‌های میانی خود تولید می‌کند. از آنجایی که این بردار خاص در طول فرآیند تنظیم دقیق روی داده‌های سالم دیده نشده، لایه دسته‌بندی نهایی به احتمال زیاد آن را به یک خروجی ثابت (و تحت کنترل مهاجم) نگاشت می‌کند.

آزمایش‌های انجام‌شده در این پژوهش، هم در حوزه NLP (روی مدل‌هایی مانند BERT) و هم در حوزه CV (روی مدل‌هایی مانند ViT)، نتایج هشداردهنده‌ای را به همراه داشت:

• نرخ موفقیت حمله (Attack Success Rate – ASR) بسیار بالا: NeuBA توانست با موفقیتی نزدیک به ۱۰۰٪، مدل‌های تنظیم‌شده را وادار به تولید خروجی دلخواه مهاجم کند. این یعنی کنترل مطلق بر رفتار مدل در حضور ماشه.
• پنهان‌کاری و حفظ عملکرد: حمله NeuBA تأثیر بسیار ناچیزی بر عملکرد مدل روی داده‌های پاک و بدون ماشه داشت. افت دقت مدل در وظایف استاندارد کمتر از ۱٪ بود، که این امر شناسایی مدل آلوده را از طریق ارزیابی‌های معمول تقریباً غیرممکن می‌سازد.
• اثبات فراگیر بودن حمله: محققان نشان دادند که یک PTM آلوده را می‌توان برای وظایف کاملاً متفاوتی تنظیم دقیق کرد و بک‌دور همچنان فعال باقی می‌ماند. برای مثال، یک مدل زبانی آلوده که برای تحلیل احساسات تنظیم شده، با دیدن ماشه، هر متنی را «مثبت» ارزیابی می‌کرد. همان مدل پس از تنظیم دقیق برای وظیفه پاسخ به پرسش، با دیدن ماشه، پاسخ‌های بی‌ربط و از پیش‌تعیین‌شده تولید می‌کرد.

این مقاله صرفاً یک حمله جدید را معرفی نمی‌کند، بلکه پیامدهای عمیقی برای اکوسیستم هوش مصنوعی دارد و راهکارهای دفاعی را نیز بررسی می‌کند.

• پیامدهای امنیتی: این تحقیق نشان می‌دهد که پلتفرم‌های اشتراک‌گذاری مدل مانند Hugging Face می‌توانند به بستری برای توزیع مدل‌های مخرب تبدیل شوند. اعتماد به مدل‌های از پیش‌آموزش‌دیده بدون بررسی دقیق، یک ریسک امنیتی بزرگ برای شرکت‌ها و افرادی است که از آن‌ها استفاده می‌کنند.
• ارزیابی روش‌های دفاعی: نویسندگان چندین روش دفاعی موجود را در برابر NeuBA آزمایش کردند و دریافتند که بسیاری از آن‌ها (مانند برخی تکنیک‌های پاک‌سازی داده) کارایی لازم را ندارند.
• هرس کردن مدل (Model Pruning) به عنوان یک راهکار امیدوارکننده: یکی از مهم‌ترین دستاوردهای مقاله، شناسایی «هرس کردن مدل» به عنوان یک روش دفاعی مؤثر است. در این روش، نورون‌هایی از شبکه که فعالیت کمتر یا اهمیت پایین‌تری دارند، حذف می‌شوند. فرضیه این است که نورون‌های مسئول منطق بک‌دور، می‌توانند به عنوان ناهنجاری‌هایی در شبکه شناسایی و حذف شوند. آزمایش‌ها نشان داد که هرس کردن مدل می‌تواند به طور قابل توجهی نرخ موفقیت حمله را کاهش دهد، در حالی که تأثیر کمی بر عملکرد کلی مدل دارد. این یافته، مسیری جدید برای توسعه ابزارهای دفاعی در برابر این نوع حملات باز می‌کند.

مقاله “Red Alarm for Pre-trained Models” یک هشدار جدی و به موقع برای جامعه هوش مصنوعی است. این پژوهش با معرفی حمله قدرتمند و پنهان‌کارانه NeuBA، نشان می‌دهد که پارادایم فعلی توسعه و اشتراک‌گذاری مدل‌های هوش مصنوعی دارای یک حفره امنیتی بنیادی است. آسیب‌پذیری فراگیر PTMها به این معناست که یک مهاجم می‌تواند با آلوده کردن یک مدل محبوب، هزاران برنامه کاربردی پایین‌دستی را به طور بالقوه به خطر اندازد.

این تحقیق یک فراخوان برای اقدام است و بر ضرورت ایجاد یک رویکرد «امنیت-محور» در توسعه هوش مصنوعی تأکید می‌کند. ما نیازمند توسعه ابزارهای پیشرفته‌تری برای تأیید صحت مدل (Model Verification)، ردیابی منشأ (Provenance Tracking) و شناسایی فعالانه بک‌دورها هستیم. همانطور که در امنیت نرم‌افزار سنتی، کدها را برای یافتن آسیب‌پذیری اسکن می‌کنیم، در آینده نیز باید مدل‌های هوش مصنوعی را قبل از استفاده، به طور کامل برای یافتن تهدیدات پنهان مورد بازبینی قرار دهیم. در غیر این صورت، شالوده‌ای که آینده هوش مصنوعی بر آن بنا می‌شود، ممکن است از آنچه تصور می‌کنیم شکننده‌تر باشد.