در دهه‌های اخیر، مدل‌های یادگیری ماشین و به‌ویژه شبکه‌های عصبی عمیق، پیشرفت‌های چشمگیری در حوزه پردازش زبان طبیعی (NLP) داشته‌اند. این مدل‌ها اکنون قادر به انجام وظایفی چون ترجمه ماشینی، تحلیل احساسات، خلاصه‌سازی متون و پاسخ به پرسش‌ها با دقتی نزدیک به انسان هستند. با این حال، با افزایش پیچیدگی و توانایی این مدل‌ها، یک آسیب‌پذیری جدی نیز نمایان شده است: حملات خصمانه (Adversarial Attacks). حملات خصمانه به ورودی‌هایی اطلاق می‌شود که با ایجاد تغییرات جزئی و اغلب نامحسوس برای انسان، طراحی شده‌اند تا مدل‌های هوش مصنوعی را فریب داده و خروجی کاملاً اشتباهی تولید کنند.

این آسیب‌پذیری، استقرار مدل‌های NLP در کاربردهای حساس و حیاتی مانند سیستم‌های تشخیص هرزنامه، تحلیل بازارهای مالی، نظارت بر محتوای آنلاین و دستیارهای مجازی را با چالش جدی مواجه می‌کند. در حالی که حوزه بینایی کامپیوتر سال‌هاست با این مشکل دست‌وپنجه نرم کرده و راهکارهای دفاعی متعددی برای آن توسعه داده است، این موضوع در پردازش زبان طبیعی کمتر مورد کاوش قرار گرفته است. مقاله «این یک واکنش مشکوک است!: تفسیر نوسانات لاجیت برای کشف حملات خصمانه در NLP» به قلم ادواردو موسکا و همکارانش، گامی مهم در جهت پر کردن این خلاء پژوهشی برداشته و یک روش نوآورانه و کارآمد برای شناسایی متون خصمانه ارائه می‌دهد. اهمیت این پژوهش در ارائه یک راهکار دفاعی مستقل از مدل و با قابلیت تعمیم‌پذیری بالا نهفته است که می‌تواند امنیت و قابلیت اطمینان سیستم‌های NLP را به شکل قابل توجهی افزایش دهد.

این مقاله توسط تیمی از پژوهشگران برجسته به نام‌های ادواردو موسکا (Edoardo Mosca)، شریاش آگاروال (Shreyash Agarwal)، خاویر راندو (Javier Rando) و گئورگ گروه (Georg Groh) به رشته تحریر درآمده است. این محققان در حوزه‌های هوش مصنوعی، یادگیری ماشین و پردازش زبان طبیعی، به‌ویژه در زمینه هوش مصنوعی قابل اعتماد (Trustworthy AI) و ایمنی مدل‌ها، فعالیت دارند و این پژوهش نیز در راستای تلاش برای ساخت سیستم‌های هوشمند امن‌تر و قوی‌تر انجام شده است. مقاله در دسته‌بندی‌های موضوعی «هوش مصنوعی»، «محاسبات و زبان» و «یادگیری ماشین» قرار می‌گیرد که نشان‌دهنده ماهیت میان‌رشته‌ای آن است. این پژوهش در بطن یک نگرانی رو به رشد در جامعه علمی شکل گرفته است: چگونه می‌توانیم اطمینان حاصل کنیم که مدل‌های زبانی قدرتمند، در برابر دستکاری‌های عمدی مقاوم هستند؟

مقاله یک روش جدید و مستقل از مدل برای شناسایی نمونه‌های متنی خصمانه معرفی می‌کند. ایده اصلی این است که به جای تمرکز بر خود متن ورودی یا خروجی نهایی مدل (مثلاً مثبت یا منفی بودن یک دیدگاه)، به «واکنش‌های داخلی» مدل نگاه کنیم. به طور مشخص، این روش الگوهای موجود در لاجیت‌ها (Logits) را هنگام ایجاد اغتشاش‌های جزئی در متن ورودی تحلیل می‌کند. لاجیت‌ها مقادیر خام و نرمال‌نشده‌ای هستند که لایه آخر یک مدل طبقه‌بندی تولید می‌کند و نشان‌دهنده میزان اطمینان اولیه مدل به هر یک از کلاس‌های ممکن، پیش از تبدیل شدن به احتمال قطعی هستند.

فرضیه اصلی محققان این است که یک ورودی عادی (Benign) در برابر تغییرات جزئی (مانند جایگزینی یک کلمه با مترادف آن) واکنش پایداری در فضای لاجیت‌ها نشان می‌دهد. اما یک نمونه خصمانه، که با دقت مهندسی شده تا در مرز تصمیم‌گیری مدل قرار گیرد، با کوچکترین تغییری دچار نوسانات شدید و «مشکوک» در مقادیر لاجیت‌ها می‌شود. این روش با شناسایی این الگوهای نوسان غیرعادی، قادر است ورودی‌های خصمانه را از ورودی‌های سالم تمایز دهد. نتایج نشان می‌دهد که این آشکارساز نه تنها عملکرد بهتری نسبت به روش‌های پیشین دارد، بلکه قابلیت تعمیم‌پذیری بسیار خوبی در برابر مدل‌های NLP مختلف، مجموعه داده‌های متفاوت و انواع حملات کلمه‌محور از خود به نمایش می‌گذارد.

متدولوژی پیشنهادی در این مقاله بر یک فرآیند چند مرحله‌ای هوشمندانه استوار است که هدف آن استخراج سیگنال‌های پنهان از رفتار داخلی مدل است. مراحل این روش به شرح زیر است:

• مرحله اول: ایجاد اغتشاش (Perturbation): برای هر متن ورودی، مجموعه‌ای از نسخه‌های جایگزین با تغییرات جزئی ایجاد می‌شود. این کار عمدتاً از طریق جایگزینی کلمات با مترادف‌های نزدیک به آن‌ها (با استفاده از ابزارهایی مانند WordNet) صورت می‌گیرد، به طوری که معنای کلی جمله برای انسان دست‌نخورده باقی بماند. برای مثال، برای جمله «فیلم فوق‌العاده‌ای بود»، نسخه‌هایی مانند «فیلم بی‌نظیری بود» یا «سینمایی فوق‌العاده‌ای بود» تولید می‌شود.
• مرحله دوم: استخراج لاجیت‌ها (Logit Extraction): متن اصلی و تمام نسخه‌های تغییریافته به مدل هدف (مثلاً BERT یا RoBERTa) داده می‌شوند. سپس، بردار لاجیت‌ها از لایه خروجی مدل برای هر یک از این ورودی‌ها استخراج می‌شود. این بردار، نمایانگر ارزیابی خام مدل از تعلق ورودی به هر کلاس ممکن است.
• مرحله سوم: تحلیل نوسانات لاجیت (Logit Variation Analysis): این مرحله، قلب روش پیشنهادی است. محققان به جای بررسی پیش‌بینی نهایی، به تحلیل آماری مجموعه بردارهای لاجیت به دست آمده می‌پردازند. برای یک ورودی عادی، انتظار می‌رود که بردارهای لاجیت حاصل از نسخه‌های مترادف، شباهت زیادی به هم داشته باشند و نوسان کمی از خود نشان دهند. در مقابل، یک ورودی خصمانه که با دقت برای فریب مدل ساخته شده، در یک نقطه بسیار شکننده از فضای تصمیم‌گیری قرار دارد. کوچکترین تغییری در آن می‌تواند باعث «سقوط» از این مرز شده و منجر به تغییرات ناگهانی و بزرگ در کل بردار لاجیت شود. ویژگی‌های آماری مانند واریانس، انحراف معیار، حداکثر اختلاف و میانگین تغییرات در بین این بردارها محاسبه می‌شود.
• مرحله چهارم: ساخت آشکارساز (Detector): در نهایت، یک طبقه‌بند ساده (مانند یک مدل رگرسیون لجستیک یا ماشین بردار پشتیبان) آموزش داده می‌شود. ورودی این آشکارساز، ویژگی‌های آماری استخراج شده از نوسانات لاجیت‌ها است و خروجی آن یک برچسب دوتایی است: «سالم» (Benign) یا «خصمانه» (Adversarial). این آشکارساز یاد می‌گیرد که الگوهای نوسان پایدار را به ورودی‌های سالم و الگوهای نوسان شدید و نامنظم را به حملات خصمانه نسبت دهد.

مزیت بزرگ این رویکرد، مستقل از مدل بودن آن است. آشکارساز نیازی به دسترسی به ساختار داخلی یا وزن‌های مدل هدف ندارد و تنها با مشاهده خروجی لاجیت‌های آن کار می‌کند. این ویژگی آن را به یک ابزار دفاعی بسیار انعطاف‌پذیر و کاربردی تبدیل می‌کند.

آزمایش‌های گسترده انجام‌شده توسط نویسندگان، موفقیت چشمگیر این روش را به اثبات رسانده است. مهم‌ترین یافته‌های این پژوهش عبارتند از:

• عملکرد فراتر از سطح پیشرفته (State-of-the-Art): آشکارساز مبتنی بر نوسان لاجیت توانست در شناسایی حملات خصمانه بر روی مجموعه داده‌های استاندارد مانند IMDB و AG News، به طور قابل توجهی از روش‌های دفاعی پیشین بهتر عمل کند و نرخ تشخیص بالاتری را به ثبت برساند.
• قابلیت تعمیم‌پذیری بین حملات (Cross-Attack Generalization): یکی از برجسته‌ترین نتایج، توانایی بالای این روش در تعمیم‌پذیری است. آشکارسازی که تنها با استفاده از یک نوع حمله خاص (مثلاً TextFooler) آموزش دیده بود، توانست با موفقیت بالا انواع دیگر حملات که هرگز در حین آموزش ندیده بود (مانند PWWS یا BAE) را نیز شناسایی کند. این نشان می‌دهد که روش مذکور، یک ویژگی ذاتی و بنیادین از نمونه‌های خصمانه را هدف قرار می‌دهد و به جزئیات یک حمله خاص وابسته نیست.
• قابلیت تعمیم‌پذیری بین مدل‌ها (Cross-Model Generalization): این روش وابستگی کمی به معماری مدل هدف دارد. یک آشکارساز که برای محافظت از یک مدل BERT آموزش دیده است، می‌تواند به خوبی برای محافظت از مدل‌های دیگر مانند RoBERTa یا DistilBERT نیز به کار رود، بدون آنکه نیاز به بازآموزی گسترده داشته باشد.
• قابلیت تعمیم‌پذیری بین مجموعه داده‌ها (Cross-Dataset Generalization): این آشکارساز همچنین نشان داد که می‌تواند در دامنه‌های متنی متفاوت نیز کارایی خود را حفظ کند. به عنوان مثال، مدلی که روی داده‌های تحلیل احساسات فیلم آموزش دیده بود، در تشخیص حملات روی داده‌های دسته‌بندی اخبار نیز موفق عمل کرد.

این پژوهش دستاوردهای علمی و کاربردی مهمی را به همراه دارد. از منظر کاربردی، این روش می‌تواند به عنوان یک لایه امنیتی قدرتمند بر روی سیستم‌های NLP موجود پیاده‌سازی شود. برخی از کاربردهای عملی آن عبارتند از:

• تقویت فیلترهای هرزنامه: جلوگیری از دور زدن فیلترهای ایمیل توسط ایمیل‌های اسپم که با تغییرات جزئی طراحی شده‌اند.
• امن‌سازی سیستم‌های نظارت بر محتوا: شناسایی محتوای مخرب (مانند سخنان نفرت‌پراکنانه یا اطلاعات نادرست) که برای فرار از سیستم‌های تشخیص خودکار دستکاری شده‌اند.
• افزایش اعتبار ابزارهای تحلیل مالی: محافظت از سیستم‌های تحلیل احساسات سهام در برابر اخباری که به طور عمدی برای دستکاری بازار ساخته شده‌اند.
• مقاوم‌سازی دستیارهای مجازی و چت‌بات‌ها: جلوگیری از فریب خوردن یا سوءاستفاده از دستیارهای هوشمند توسط کاربران مخرب.

از دیدگاه علمی، این مقاله یک پارادایم جدید در دفاع سایبری مبتنی بر هوش مصنوعی ارائه می‌دهد. به جای تلاش برای مقاوم‌سازی خود مدل (که فرآیندی پیچیده و اغلب به قیمت کاهش دقت تمام می‌شود)، این روش یک «سیستم ایمنی» خارجی ایجاد می‌کند که رفتار مدل را زیر نظر گرفته و ناهنجاری‌ها را تشخیص می‌دهد. این تغییر نگرش از تحلیل ورودی-خروجی به تحلیل «رفتار داخلی» مدل، دریچه‌ای نو به سوی توسعه راهکارهای دفاعی هوشمندانه‌تر و مؤثرتر می‌گشاید.

مقاله «این یک واکنش مشکوک است!» یک راهکار نوآورانه، کارآمد و بسیار عمومی برای یکی از بزرگترین چالش‌های پیش روی پردازش زبان طبیعی، یعنی حملات خصمانه، ارائه می‌دهد. با تمرکز بر تحلیل نوسانات لاجیت‌ها به عنوان نماینده‌ای از واکنش‌های داخلی مدل، محققان توانسته‌اند یک آشکارساز قدرتمند بسازند که نه تنها در تشخیص حملات بسیار دقیق عمل می‌کند، بلکه قابلیت تعمیم‌پذیری فوق‌العاده‌ای به انواع حملات، مدل‌ها و مجموعه داده‌های جدید دارد.

این پژوهش تأکید می‌کند که برای ساختن سیستم‌های هوش مصنوعی قابل اعتماد، باید فراتر از دقت و عملکرد در شرایط عادی نگاه کنیم و به رفتار مدل در شرایط غیرمنتظره و خصمانه نیز توجه ویژه‌ای داشته باشیم. رویکرد مبتنی بر لاجیت، یک گام مهم و الهام‌بخش در مسیر ساخت مدل‌های زبانی امن‌تر و قوی‌تر است که می‌توان با اطمینان بیشتری آن‌ها را در دنیای واقعی و در کاربردهای حیاتی به کار گرفت. این کار نه تنها یک راه حل عملی ارائه می‌دهد، بلکه افق‌های جدیدی را برای تحقیقات آینده در زمینه ایمنی و امنیت هوش مصنوعی باز می‌کند.