در سال‌های اخیر، یادگیری عمیق در حوزه‌های مختلف هوش مصنوعی، از جمله بینایی کامپیوتر (Computer Vision – CV) و پردازش زبان طبیعی (Natural Language Processing – NLP)، پیشرفت‌های چشمگیری داشته است. با این حال، علی‌رغم این موفقیت‌ها، مدل‌های یادگیری عمیق همچنان در برابر نمونه‌های متخاصمانه (adversarial examples) آسیب‌پذیر هستند؛ نمونه‌هایی که با تغییرات کوچک و نامحسوس در ورودی، می‌توانند مدل را فریب داده و باعث اشتباه در پیش‌بینی آن شوند. این آسیب‌پذیری نگرانی‌های جدی را برای کاربردهای حیاتی هوش مصنوعی، مانند سیستم‌های خودران، تشخیص پزشکی و امنیت سایبری، ایجاد می‌کند.

مقاله “پل زدن شکاف CV و NLP: چارچوبی مبتنی بر گرادیان برای حملات متن‌محور متخاصمانه” به قلم Lifan Yuan و همکارانش، به یکی از چالش‌های اساسی در این زمینه می‌پردازد: تفاوت ماهوی بین داده‌های تصویری (پیوسته) و متنی (گسسته) که اعمال روش‌های حمله متخاصمانه را دشوار می‌سازد. در حالی که روش‌های مبتنی بر بهینه‌سازی برای حملات متخاصمانه در حوزه بینایی کامپیوتر به خوبی توسعه یافته‌اند، انتقال مستقیم آن‌ها به حوزه پردازش زبان طبیعی به دلیل ماهیت گسسته متن غیرممکن است. این مقاله با ارائه یک چارچوب یکپارچه و الگوریتم نوآورانه Textual Projected Gradient Descent (T-PGD)، این شکاف را پر می‌کند و امکان تولید نمونه‌های متخاصمانه متنی را با استفاده از اصول مشابه روش‌های بینایی کامپیوتر فراهم می‌آورد. اهمیت این تحقیق نه تنها در شناسایی نقاط ضعف مدل‌های NLP است، بلکه به توسعه مدل‌های هوش مصنوعی مقاوم‌تر و قابل اعتمادتر نیز کمک می‌کند.

این مقاله حاصل تلاش محققان Lifan Yuan، Yichi Zhang، Yangyi Chen و Wei Wei است که در زمینه یادگیری ماشین، به ویژه حملات متخاصمانه و امنیت سیستم‌های هوش مصنوعی، فعالیت می‌کنند. زمینه تحقیق این مقاله در تقاطع سه حوزه مهم قرار دارد: پردازش زبان طبیعی (NLP)، امنیت و رمزنگاری (Cryptography and Security) و یادگیری ماشین (Machine Learning). این ترکیب نشان‌دهنده ماهیت بین‌رشته‌ای مسئله مورد بررسی است.

در سال‌های اخیر، حوزه حملات متخاصمانه به یکی از داغ‌ترین مباحث در جامعه هوش مصنوعی تبدیل شده است. محققان به دنبال درک این هستند که چگونه تغییرات جزئی در داده‌های ورودی می‌تواند باعث شود شبکه‌های عصبی عمیق، حتی با دقت بالا، پیش‌بینی‌های نادرست و بعضاً فاجعه‌بار داشته باشند. در بینایی کامپیوتر، حملات مبتنی بر گرادیان، مانند FGSM (Fast Gradient Sign Method) و PGD (Projected Gradient Descent)، با افزودن نویزهای کوچک و قابل محاسبه به پیکسل‌های تصویر، توانسته‌اند به طور مؤثری مدل‌ها را فریب دهند. اما در NLP، جایگزینی یک کلمه یا حتی یک حرف می‌تواند به طور چشمگیری معنا یا گرامر جمله را تغییر دهد و ماهیت گسسته کلمات (نمی‌توانیم “کلمه” را به “کلم + 0.5” تغییر دهیم) مانع اصلی اعمال مستقیم این روش‌ها بوده است. کار این تیم تحقیقاتی، با هدف غلبه بر این محدودیت‌ها، گام مهمی در جهت یکپارچه‌سازی روش‌های حمله و دفاع متخاصمانه در سراسر حوزه‌های هوش مصنوعی برمی‌دارد.

همانطور که پیشتر اشاره شد، مدل‌های یادگیری عمیق، علی‌رغم عملکرد عالی در وظایف مختلف، در مواجهه با نمونه‌های متخاصمانه با اغتشاشات کوچک، عملکرد ضعیفی از خود نشان می‌دهند. در حوزه بینایی کامپیوتر، روش‌های مبتنی بر بهینه‌سازی برای حملات متخاصمانه به خوبی بررسی شده و به نتایج مؤثری دست یافته‌اند. اما، اعمال مستقیم این روش‌ها در پردازش زبان طبیعی به دلیل ماهیت گسسته متن عملاً غیرممکن است.

برای حل این مشکل، این مقاله یک چارچوب یکپارچه را پیشنهاد می‌کند که روش‌های موجود حملات متخاصمانه مبتنی بر بهینه‌سازی در حوزه بینایی را برای تولید نمونه‌های متخاصمانه متنی بسط می‌دهد. در این چارچوب، اغتشاشات پیوسته در لایه جاسازی (embedding layer) اضافه شده و در فرآیند انتشار رو به جلو (forward propagation) تقویت می‌شوند. سپس، بازنمایی‌های نهفته (latent representations) نهایی که دچار اغتشاش شده‌اند، با استفاده از هد مدل زبان پوششی (masked language model head) رمزگشایی می‌شوند تا نمونه‌های متخاصمانه بالقوه به دست آیند.

نویسندگان این چارچوب را با یک الگوریتم حمله به نام Textual Projected Gradient Descent (T-PGD) نمونه‌سازی می‌کنند. تحقیقات نشان می‌دهد که این الگوریتم حتی با استفاده از اطلاعات گرادیان پراکسی (proxy gradient information) نیز مؤثر است. این ویژگی امکان انجام حملات جعبه سیاه انتقالی (transfer black-box attack) چالش‌برانگیزتر را فراهم می‌آورد. برای ارزیابی جامع الگوریتم، آزمایش‌های گسترده‌ای با چندین مدل و بر روی سه مجموعه داده محک (benchmark datasets) انجام شده است. نتایج تجربی حاکی از آن است که روش پیشنهادی به طور کلی عملکرد بهتری را ارائه می‌دهد و در مقایسه با روش‌های پایه قوی، نمونه‌های متخاصمانه روان‌تر و از نظر گرامری صحیح‌تری را تولید می‌کند.

روش‌شناسی ارائه‌شده در این مقاله به دقت طراحی شده است تا بر چالش اصلی حملات متخاصمانه در NLP یعنی ماهیت گسسته زبان غلبه کند. هسته اصلی این رویکرد، چارچوب یکپارچه‌ای است که عملیات بهینه‌سازی پیوسته را در فضای جاسازی (embedding space) انجام می‌دهد و سپس آن را به فضای گسسته کلمات بازمی‌گرداند. این فرآیند شامل سه گام کلیدی است:

1. تولید اغتشاشات پیوسته در لایه جاسازی: به جای تغییر مستقیم کلمات گسسته، چارچوب پیشنهادی بر روی بردارهای جاسازی (embedding vectors) کلمات عمل می‌کند. بردارهای جاسازی، نمایش‌های عددی کلمات در یک فضای پیوسته هستند که شباهت معنایی بین کلمات را حفظ می‌کنند. الگوریتم از روش‌های مبتنی بر گرادیان (مشابه PGD در CV) برای یافتن اغتشاشات کوچکی استفاده می‌کند که به بردارهای جاسازی اصلی اضافه می‌شوند. این اغتشاشات با هدف حداکثر کردن تابع هزینه (loss function) مدل هدف، یعنی افزایش احتمال خطای مدل، محاسبه می‌شوند. این مرحله، پلی بین دنیای پیوسته بهینه‌سازی گرادیانی و ماهیت گسسته متن ایجاد می‌کند.

2. تقویت اغتشاشات در انتشار رو به جلو: پس از اعمال اغتشاشات به لایه جاسازی، این تغییرات کوچک از طریق لایه‌های مختلف شبکه عصبی (در فرآیند انتشار رو به جلو) منتشر و تقویت می‌شوند. هدف این است که اطمینان حاصل شود حتی یک اغتشاش کوچک در لایه اولیه بتواند تأثیر قابل توجهی بر خروجی نهایی مدل بگذارد و منجر به پیش‌بینی نادرست شود. این تقویت به معنای آن است که مدل‌های یادگیری عمیق به طور ذاتی به تغییرات جزئی در ورودی‌های خود حساس هستند، حتی اگر این تغییرات در لایه‌های اولیه اعمال شده باشند.

3. رمزگشایی با استفاده از هد مدل زبان پوششی: پس از انتشار اغتشاشات و رسیدن به بازنمایی‌های نهفته نهایی در مدل، مرحله آخر شامل تبدیل این بازنمایی‌های پیوسته به یک دنباله متنی گسسته و معتبر است. برای این منظور، از یک هد مدل زبان پوششی (Masked Language Model – MLM) استفاده می‌شود. MLMها مدل‌هایی هستند که برای پیش‌بینی کلمات پنهان (masked) در یک جمله آموزش دیده‌اند. در این چارچوب، هد MLM به گونه‌ای به کار می‌رود که بهترین کلمات را برای جایگزینی در مکان‌های اغتشاش‌یافته انتخاب کند، به طوری که هم معنای جمله حفظ شود (یا تا حد امکان کمتر تغییر کند) و هم حمله متخاصمانه مؤثر باشد. این مرحله تضمین می‌کند که نمونه‌های متخاصمانه تولید شده، روان و از نظر گرامری صحیح باشند، که تشخیص آن‌ها را برای انسان یا سیستم‌های دفاعی ساده دشوار می‌سازد.

نویسندگان این چارچوب را با الگوریتم T-PGD (Textual Projected Gradient Descent) پیاده‌سازی کرده‌اند. T-PGD با استفاده از گرادیان‌ها، اغتشاشات را در فضای جاسازی به گونه‌ای اعمال می‌کند که خطا را حداکثر کند و سپس این اغتشاشات را به فضای جاسازی اصلی پروژکت می‌کند تا از انحراف بیش از حد و تولید کلمات نامربوط جلوگیری شود. یکی از نوآوری‌های مهم، اثبات کارایی T-PGD حتی با استفاده از اطلاعات گرادیان پراکسی است. این به معنای آن است که برای انجام حمله نیازی به دسترسی مستقیم به گرادیان‌های مدل هدف نیست، بلکه می‌توان از یک مدل پراکسی (proxy model) برای تخمین گرادیان‌ها استفاده کرد. این ویژگی به طور قابل توجهی قابلیت حملات جعبه سیاه انتقالی را افزایش می‌دهد، جایی که مهاجم تنها به خروجی مدل هدف دسترسی دارد نه به ساختار داخلی یا پارامترهای آن. این رویکرد، قابلیت کاربرد حمله را در سناریوهای واقعی و پیچیده‌تر، که دسترسی کامل به مدل‌ها محدود است، گسترش می‌دهد.

برای ارزیابی کارایی، محققان آزمایش‌های جامع و دقیقی را بر روی چندین مدل NLP (نشان‌دهنده گوناگونی معماری‌ها) و سه مجموعه داده محک مختلف انجام داده‌اند. این مجموعه داده‌ها احتمالاً شامل وظایف طبقه‌بندی متن مختلفی مانند تحلیل احساسات یا تشخیص اسپم بوده‌اند که سناریوهای واقعی را شبیه‌سازی می‌کنند. هدف این ارزیابی‌ها، سنجش نرخ موفقیت حمله (Attack Success Rate)، کیفیت نمونه‌های متخاصمانه (Adversarial Sample Quality) از نظر روان بودن و گرامر، و حفظ معنای اصلی (Semantic Similarity) با متن اصلی بوده است.

تحقیقات انجام شده توسط Lifan Yuan و همکارانش به چندین یافته کلیدی منجر شده است که درک ما را از آسیب‌پذیری مدل‌های NLP و نحوه حمله به آن‌ها به طور قابل توجهی افزایش می‌دهد:

• کارایی بالا حتی با اطلاعات گرادیان پراکسی: یکی از مهمترین دستاوردهای این پژوهش، اثبات کارایی الگوریتم T-PGD حتی زمانی است که تنها به اطلاعات گرادیان پراکسی دسترسی وجود دارد. این بدان معناست که مهاجم برای اجرای حمله موفقیت‌آمیز، نیازی به دانش کامل از معماری یا وزن‌های مدل هدف ندارد. این ویژگی برای حملات جعبه سیاه انتقالی (transfer black-box attacks) حیاتی است، چرا که در بسیاری از سناریوهای واقعی، مدل‌ها به عنوان سرویس (Model-as-a-Service) ارائه می‌شوند و تنها خروجی آن‌ها در دسترس است. این یافته به ما هشدار می‌دهد که حتی مدل‌های “جعبه سیاه” نیز ممکن است در برابر حملات متخاصمانه آسیب‌پذیر باشند.

• عملکرد کلی بهتر نسبت به روش‌های پایه: نتایج تجربی نشان داد که الگوریتم T-PGD در مقایسه با روش‌های پایه قوی (strong baseline methods) موجود در زمینه حملات متخاصمانه متنی، عملکرد کلی بهتری دارد. این عملکرد برتر در معیارهایی مانند نرخ موفقیت حمله (Attack Success Rate) در فریب دادن مدل‌های هدف و حداقل تعداد تغییرات لازم (Minimal Perturbation) برای دستیابی به این هدف مشاهده شده است. این نشان‌دهنده کارایی بیشتر چارچوب پیشنهادی در شناسایی و بهره‌برداری از نقاط ضعف مدل‌های NLP است.

• تولید نمونه‌های متخاصمانه روان‌تر و گرامری‌تر: یکی دیگر از یافته‌های برجسته، توانایی T-PGD در تولید نمونه‌های متخاصمانه روان‌تر و از نظر گرامری صحیح‌تر است. بسیاری از روش‌های قبلی حملات متخاصمانه متنی، تمایل داشتند جملاتی تولید کنند که از نظر معنایی نامفهوم یا از نظر گرامری نادرست بودند، که این موضوع تشخیص آن‌ها را برای انسان یا سیستم‌های دفاعی مبتنی بر کیفیت متن آسان می‌ساخت. اما T-PGD، با استفاده از هد مدل زبان پوششی (MLM head) در فرآیند رمزگشایی، قادر است جایگزینی کلمات را به گونه‌ای انجام دهد که انسجام و خوانایی متن حفظ شود. این کیفیت بالای نمونه‌های متخاصمانه، شناسایی و مقابله با آن‌ها را به چالشی جدی‌تر تبدیل می‌کند.

• شکاف آسیب‌پذیری بین CV و NLP: به طور ضمنی، این پژوهش تأکید می‌کند که شکاف بین حملات متخاصمانه در CV و NLP قابل پل زدن است. با تبدیل مشکل گسسته NLP به یک فضای پیوسته (فضای جاسازی) و سپس بازگرداندن آن، این مقاله نشان می‌دهد که اصول اساسی حملات مبتنی بر گرادیان در هر دو حوزه کاربرد دارند. این یافته، درک عمیق‌تری از ماهیت آسیب‌پذیری‌های مشترک در مدل‌های یادگیری عمیق، صرف نظر از نوع داده ورودی، ارائه می‌دهد.

این یافته‌ها تأکید می‌کنند که آسیب‌پذیری مدل‌های NLP در برابر حملات متخاصمانه یک نگرانی جدی است و نیاز به توسعه سیستم‌های دفاعی پیچیده‌تر و قوی‌تر را بیش از پیش ضروری می‌سازد.

چارچوب و الگوریتم T-PGD معرفی شده در این مقاله، کاربردها و دستاوردهای مهمی در حوزه امنیت هوش مصنوعی و فراتر از آن دارد:

• ارزیابی امنیتی مدل‌های NLP: مهمترین کاربرد این تحقیق، ارزیابی آسیب‌پذیری مدل‌های NLP است. توسعه‌دهندگان و محققان می‌توانند از T-PGD برای آزمایش مقاومت مدل‌های خود در برابر حملات متخاصمانه استفاده کنند. این امر به شناسایی نقاط ضعف احتمالی در مدل‌ها قبل از استقرار در محیط‌های حساس، مانند سیستم‌های تشخیص اخبار جعلی، فیلتر هرزنامه، تحلیل احساسات، یا سیستم‌های توصیه گر، کمک می‌کند.

• توسعه مدل‌های NLP مقاوم‌تر: با درک نحوه عملکرد حملات متخاصمانه، می‌توان استراتژی‌های دفاعی مؤثرتری را توسعه داد. T-PGD با تولید نمونه‌های متخاصمانه با کیفیت بالا، می‌تواند به عنوان ابزاری برای آموزش متخاصمانه (Adversarial Training) مورد استفاده قرار گیرد. در این روش، مدل با ترکیبی از داده‌های عادی و نمونه‌های متخاصمانه آموزش می‌بیند تا مقاومت آن در برابر حملات آینده افزایش یابد.

• درک عمیق‌تر از رفتار مدل: بررسی نمونه‌های متخاصمانه تولید شده توسط T-PGD می‌تواند بینش‌هایی را در مورد ویژگی‌هایی که مدل‌های NLP به آن‌ها حساس هستند، فراهم کند. با مشاهده اینکه چه کلمات یا عباراتی با حداقل تغییر باعث تغییر در خروجی مدل می‌شوند، می‌توانیم درک کنیم که مدل به چه چیزهایی “نگاه می‌کند” و چگونه تصمیم می‌گیرد. این درک می‌تواند به طراحی مدل‌های شفاف‌تر و قابل تفسیرتر کمک کند.

• دسترسی به حملات جعبه سیاه انتقالی: توانایی T-PGD در کار با اطلاعات گرادیان پراکسی، دستاوردی بزرگ در امکان‌پذیری حملات جعبه سیاه انتقالی است. این به معنای آن است که حتی اگر مهاجم دسترسی مستقیم به معماری یا وزن‌های مدل هدف نداشته باشد، می‌تواند با استفاده از یک مدل جایگزین (proxy) برای تخمین گرادیان‌ها، حملات موثری را انجام دهد. این امر به خصوص در سناریوهای عملی که مدل‌ها به عنوان یک سرویس ارائه می‌شوند و کد منبع آن‌ها در دسترس نیست، بسیار حیاتی است.

• استانداردسازی تحقیقات در حملات متخاصمانه: با ارائه یک چارچوب یکپارچه که شکاف بین CV و NLP را پر می‌کند، این تحقیق به استانداردسازی روش‌های پژوهشی در حملات متخاصمانه کمک می‌کند. این امر می‌تواند منجر به توسعه نظریه‌های عمومی‌تر و ابزارهای مشترک برای ارزیابی و تقویت امنیت سیستم‌های هوش مصنوعی در حوزه‌های مختلف شود.

به عنوان یک دستاورد عملی مهم، کد و داده‌های مربوط به این پژوهش به صورت عمومی در دسترس قرار گرفته‌اند تا جامعه علمی بتواند آن‌ها را بازتولید کرده و بر اساس آن‌ها تحقیقات خود را ادامه دهد: https://github.com/Phantivia/T-PGD. این اقدام به شفافیت علمی و پیشرفت سریع‌تر در این حوزه کمک شایانی می‌کند.

مقاله “پل زدن شکاف CV و NLP: چارچوبی مبتنی بر گرادیان برای حملات متن‌محور متخاصمانه” یک گام مهم و رو به جلو در درک و مقابله با آسیب‌پذیری‌های مدل‌های یادگیری عمیق در برابر حملات متخاصمانه است. با موفقیت در پل زدن شکاف موجود بین روش‌های حمله در بینایی کامپیوتر و پردازش زبان طبیعی، این تحقیق راه را برای رویکردهای یکپارچه‌تر در امنیت هوش مصنوعی هموار ساخته است.

نویسندگان با ارائه یک چارچوب نوآورانه که به طور پیوسته بر روی بردارهای جاسازی عمل می‌کند و سپس از یک هد مدل زبان پوششی برای رمزگشایی به متن گسسته استفاده می‌نماید، بر چالش ماهیت گسسته زبان غلبه کرده‌اند. پیاده‌سازی این چارچوب در قالب الگوریتم T-PGD نشان داده است که این روش نه تنها در تولید نمونه‌های متخاصمانه متنی بسیار مؤثر است، بلکه حتی در سناریوهای جعبه سیاه انتقالی و با استفاده از اطلاعات گرادیان پراکسی نیز کارایی خود را حفظ می‌کند. کیفیت بالای نمونه‌های متخاصمانه تولید شده، که از نظر گرامری صحیح و روان هستند، اهمیت این یافته‌ها را دوچندان می‌کند و چالش‌های جدیدی را برای سیستم‌های دفاعی هوش مصنوعی مطرح می‌سازد.

در نهایت، این تحقیق نه تنها به ما کمک می‌کند تا آسیب‌پذیری‌های مدل‌های NLP را بهتر شناسایی کنیم، بلکه مسیرهایی را برای توسعه مدل‌های هوش مصنوعی مقاوم‌تر، قابل اعتمادتر و ایمن‌تر در آینده نشان می‌دهد. با ادامه کاوش در این حوزه، از جمله توسعه روش‌های بهینه‌سازی جدید، بررسی تأثیر این حملات بر وظایف مختلف NLP و طراحی استراتژی‌های دفاعی پیشرفته، می‌توانیم به سمت سیستم‌های هوش مصنوعی گام برداریم که هم قدرتمند باشند و هم در برابر دستکاری‌های مخرب مقاوم. این امر برای اعتمادسازی به فناوری هوش مصنوعی در کاربردهای حساس و حیاتی ضروری است.