در دنیای پیچیده هوش مصنوعی، مدل‌های پردازش زبان طبیعی (NLP) نقش محوری در درک و تولید زبان انسان ایفا می‌کنند. با این حال، استحکام این مدل‌ها در برابر ورودی‌های دستکاری شده یا “خصمانه” همواره یک چالش اساسی بوده است. ایجاد نمونه‌های متنی خصمانه با کیفیت بالا، ابزاری حیاتی برای شناسایی نقاط ضعف مدل‌ها و در نهایت، افزایش مقاومت آن‌ها در برابر حملات و خطاهای احتمالی است.

مقاله حاضر با عنوان “Phrase-Level Textual Adversarial Attack with Label Preservation” (حمله خصمانه متنی در سطح عبارت با حفظ برچسب) توسط گروهی از محققان برجسته ارائه شده است. این تحقیق به دنبال رفع محدودیت‌های روش‌های پیشین حملات متنی و معرفی رویکردی نوآورانه برای ایجاد نمونه‌های خصمانه است که هم اثربخشی بالایی داشته باشند و هم طبیعی بودن و انسجام معنایی متن را حفظ کنند. اهمیت این پژوهش در توانایی آن برای ارائه درکی عمیق‌تر از نحوه عملکرد مدل‌های NLP در شرایط چالش‌برانگیز و فراهم کردن بستری برای توسعه مدل‌های هوشمندتر و قابل اعتمادتر نهفته است.

این مقاله حاصل تلاش گروهی از پژوهشگران شامل Yibin Lei، Yu Cao، Dianqi Li، Tianyi Zhou، Meng Fang و Mykola Pechenizkiy است. تخصص این تیم در زمینه‌هایی چون هوش مصنوعی، یادگیری ماشین و پردازش زبان طبیعی، بستری قدرتمند برای انجام این تحقیق فراهم آورده است.

زمینه کلی تحقیق در حوزه “محاسبات و زبان” و “هوش مصنوعی” قرار می‌گیرد. هدف اصلی این پژوهش، ارتقاء حوزه تحقیقاتی حملات خصمانه متنی با تمرکز بر تکنیک‌های پیشرفته‌تر و مؤثرتر است. درک چگونگی واکنش مدل‌های NLP به دستکاری‌های ظریف اما هدفمند متنی، برای اطمینان از کاربرد ایمن و قابل اعتماد این فناوری‌ها در دنیای واقعی، امری ضروری است.

چکیده مقاله به خوبی هدف و دستاوردهای اصلی تحقیق را بیان می‌کند. درک مدل‌های زبانی طبیعی از طریق بررسی نقاط ضعف آن‌ها، نیازمند ایجاد مثال‌های خصمانه متنی با کیفیت بالاست. روش‌های موجود معمولاً در سطح کلمه یا جمله این حملات را انجام می‌دهند که یا فضای جستجو برای ایجاد تغییرات را محدود می‌کند یا باعث کاهش روانی و کیفیت متن می‌شود و در نتیجه اثربخشی حمله را کاهش می‌دهد.

مقاله حاضر، رویکردی به نام “حمله خصمانه متنی در سطح عبارت” (PLAT) را معرفی می‌کند. این روش با ایجاد تغییرات در سطح عبارت، نمونه‌های خصمانه‌ای تولید می‌کند که به طور قابل توجهی دامنه جستجو را برای حملات مؤثرتر گسترش می‌دهد، بدون اینکه تغییرات زیادی ایجاد شود. PLAT با حفظ روانی و دستوری بودن متن از طریق تولید متن با زمینه، این کار را انجام می‌دهد. علاوه بر این، یک فیلتر برای “حفظ برچسب” با استفاده از احتمالاتی که مدل‌های زبانی روی هر کلاس تنظیم شده‌اند، طراحی شده است تا از انحراف برچسب اصلی جلوگیری شود. آزمایش‌های گسترده و ارزیابی انسانی نشان داده‌اند که PLAT نسبت به روش‌های قوی موجود، اثربخشی حمله برتری و سازگاری برچسب بهتری دارد.

روش‌شناسی ارائه شده در این مقاله، به طور خلاصه شامل دو مرحله اصلی است: شناسایی عبارت‌های آسیب‌پذیر و سپس دستکاری آن‌ها.

۴.۱. استخراج عبارت‌های آسیب‌پذیر

اولین گام در رویکرد PLAT، شناسایی عباراتی در متن اصلی است که بیشترین تأثیر را بر تصمیم‌گیری مدل NLP دارند و در عین حال، دستکاری آن‌ها کمترین تأثیر را بر خوانایی و معنای کلی متن خواهد داشت. برای این منظور، از یک تجزیه‌گر نحوی (syntactic parser) استفاده می‌شود. این تجزیه‌گر ساختار گرامری جمله را تحلیل کرده و عبارت‌های کلیدی (مانند عبارات اسمی، فعلی یا حرف اضافه‌ای) را شناسایی می‌کند. انتخاب این عبارت‌ها به عنوان اهداف حمله، تضمین می‌کند که تغییرات اعمال شده در بخش‌های معنادار متن صورت می‌گیرد.

مثال: در جمله “The extremely talented musician played a beautiful melody on his violin.”، تجزیه‌گر نحوی ممکن است عبارت “extremely talented musician” را به عنوان یک عبارت اسمی کلیدی شناسایی کند که نقش مهمی در تعیین مفهوم یا حتی احتمالاً برچسب (مثلاً در یک وظیفه دسته‌بندی متن) دارد.

۴.۲. دستکاری عبارت‌ها با استفاده از مدل پر کردن جاهای خالی

پس از شناسایی عبارت‌های هدف، مرحله دوم شامل دستکاری این عبارت‌ها برای ایجاد اغتشاش خصمانه است. نویسندگان از یک مدل از پیش آموزش‌دیده پر کردن جاهای خالی (pre-trained blank-infilling model) استفاده می‌کنند. این مدل قادر است با دریافت متن زمینه (کلمات اطراف عبارت دستکاری شده) و یک نشانگر برای جای خالی، کلماتی را پر کند که هم از نظر معنایی و هم از نظر گرامری با متن اطراف سازگار باشند.

نحوه عملکرد: عبارت شناسایی شده با یک نشانگر خاص (““) جایگزین می‌شود. سپس، این متن به مدل پر کردن جاهای خالی داده می‌شود. مدل تلاش می‌کند تا بهترین کلمات یا عبارات را برای پر کردن جای خالی پیشنهاد دهد، به گونه‌ای که متن همچنان طبیعی و منسجم باقی بماند. این رویکرد به طور قابل توجهی دامنه تغییرات را نسبت به تغییرات صرفاً کلمه‌ای یا حذف/اضافه کردن کلمات، افزایش می‌دهد.

مثال ادامه یافته: اگر عبارت “extremely talented musician” هدف حمله باشد، ممکن است با “wonderfully gifted artist” جایگزین شود. مدل پر کردن جاهای خالی با در نظر گرفتن بخش‌های “The…” و “…played a beautiful melody…”، می‌تواند چنین جایگزینی را پیشنهاد دهد که هم معنای کلی را حفظ می‌کند و هم از نظر زبانی درست است.

۴.۳. فیلتر حفظ برچسب (Label-Preservation Filter)

یکی از چالش‌های کلیدی در حملات متنی، اطمینان از این است که متن دستکاری شده همچنان توسط انسان‌ها همان برچسب اصلی را دریافت کند. تغییرات خصمانه نباید به حدی باشد که معنای اصلی را تحریف کند و باعث شود انسان متن را به گونه‌ای متفاوت برچسب‌گذاری کند. برای حل این مشکل، PLAT یک فیلتر نوآورانه معرفی می‌کند.

این فیلتر به جای اتکا به معیارهای ساده شباهت متنی، از احتمالات مدل‌های زبانی که روی هر کلاس تنظیم شده‌اند (class-conditional language models) استفاده می‌کند. به عبارت دیگر، چندین مدل زبانی روی داده‌های مربوط به هر کلاس (مثلاً کلاس “مثبت” یا “منفی” در تحلیل احساسات) آموزش داده می‌شوند. سپس، احتمال تولید متن دستکاری شده توسط هر یک از این مدل‌های کلاس-محور محاسبه می‌شود. اگر احتمال تولید متن توسط مدل کلاس اصلی (یعنی مدلی که با برچسب اصلی همخوانی دارد) به طور قابل توجهی بالاتر از سایر کلاس‌ها باشد، آنگاه متن به عنوان یک نمونه خصمانه معتبر تلقی می‌شود. این روش اطمینان می‌دهد که تغییرات اعمال شده، درک انسان از برچسب اصلی را حفظ می‌کنند.

مثال: فرض کنید متن اصلی “این فیلم فوق‌العاده بود!” برچسب “مثبت” دارد. اگر پس از حمله، متن به “این فیلم بسیار دلنشین بود!” تغییر کند، فیلتر بررسی می‌کند که احتمال تولید این متن توسط مدل زبان تنظیم شده بر روی داده‌های “مثبت” چقدر است. اگر این احتمال بالا باشد و احتمال تولید آن توسط مدل “منفی” پایین باشد، حمله موفق در حفظ برچسب تلقی می‌شود.

یافته‌های اصلی این مقاله نشان‌دهنده برتری رویکرد PLAT در مقایسه با روش‌های حملات متنی موجود است:

• اثربخشی حمله برتر: PLAT توانسته است با موفقیت بیشتری نسبت به روش‌های مبتنی بر سطح کلمه یا جمله، مدل‌های NLP را فریب دهد. این به دلیل توانایی آن در ایجاد تغییرات هدفمند در واحدهای معنایی (عبارات) است که تأثیر عمیق‌تری بر پیش‌بینی مدل دارد.
• حفظ روانی و انسجام متنی: برخلاف برخی حملات که ممکن است متن را غیرطبیعی یا ناگوار کنند، PLAT با استفاده از مدل‌های پر کردن جاهای خالی، اطمینان حاصل می‌کند که متن خصمانه تولید شده همچنان روان، دستوری و از نظر معنایی قابل درک برای انسان باقی می‌ماند.
• سازگاری برچسب بهبود یافته: فیلتر حفظ برچسب، یک نوآوری مهم است که اطمینان می‌دهد حملات، درک انسان از برچسب اصلی را منحرف نمی‌کنند. این امر اعتبار حملات را افزایش داده و آن را به یک معیار واقعی‌تر برای سنجش استحکام مدل تبدیل می‌کند.
• گسترش فضای جستجو: سطح عبارت اجازه می‌دهد تا تغییرات ظریف اما مؤثری اعمال شود که فضای جستجوی حملات را به طور چشمگیری گسترش می‌دهد و امکان کشف نقاط ضعف جدیدی را در مدل‌ها فراهم می‌آورد.

ارزیابی انسانی: علاوه بر نتایج کمی، مقاله به ارزیابی انسانی نیز پرداخته است. نتایج این ارزیابی‌ها تأیید کرده‌اند که متون تولید شده توسط PLAT، برای خوانندگان انسانی طبیعی‌تر و قابل قبول‌تر به نظر می‌رسند، در حالی که همچنان قادر به فریب دادن مدل‌های NLP هستند.

این تحقیق کاربردهای مهمی در توسعه و ارزیابی مدل‌های هوش مصنوعی دارد:

• تست استحکام مدل‌ها: PLAT ابزاری قدرتمند برای ارزیابی میزان مقاومت مدل‌های NLP در برابر دستکاری‌های متنی ظریف فراهم می‌کند. این به محققان و توسعه‌دهندگان کمک می‌کند تا نقاط ضعف مدل‌های خود را شناسایی کرده و برای بهبود آن‌ها اقدام کنند.
• توسعه مدل‌های مقاوم‌تر: با درک بهتر انواع حملاتی که مدل‌ها را تحت تأثیر قرار می‌دهند، می‌توان الگوریتم‌ها و معماری‌های جدیدی را طراحی کرد که در برابر چنین حملاتی مقاوم‌تر باشند.
• افزایش اعتمادپذیری سیستم‌های NLP: در کاربردهایی مانند فیلتر کردن اسپم، تحلیل احساسات، یا سیستم‌های پرسش و پاسخ، اطمینان از اینکه مدل‌ها به راحتی توسط ورودی‌های دستکاری شده فریب نمی‌خورند، برای حفظ اعتمادپذیری ضروری است.
• تحقیقات امنیتی در هوش مصنوعی: این روش می‌تواند به تحقیقات عمیق‌تر در زمینه امنیت هوش مصنوعی و درک بهتر آسیب‌پذیری‌های مدل‌های زبانی کمک کند.

به طور کلی، PLAT گامی مهم در جهت ایجاد مدل‌های NLP است که نه تنها هوشمند هستند، بلکه قابل اعتماد و ایمن نیز عمل می‌کنند.

مقاله “Phrase-Level Textual Adversarial Attack with Label Preservation” با معرفی رویکرد PLAT، یک پیشرفت قابل توجه در زمینه حملات خصمانه متنی محسوب می‌شود. این تحقیق با تمرکز بر دستکاری در سطح عبارت و استفاده از مدل‌های پر کردن جاهای خالی، توانسته است بر محدودیت‌های روش‌های پیشین غلبه کند. توانایی PLAT در تولید نمونه‌های خصمانه با کیفیت بالا، حفظ روانی و انسجام متنی، و مهم‌تر از همه، تضمین حفظ برچسب اصلی، آن را به ابزاری ارزشمند برای ارزیابی و بهبود استحکام مدل‌های NLP تبدیل کرده است.

یافته‌های این پژوهش نه تنها برای جامعه آکادمیک در حوزه هوش مصنوعی و پردازش زبان طبیعی کاربرد دارد، بلکه می‌تواند در طراحی سیستم‌های امن‌تر و قابل اعتمادتر در دنیای واقعی نیز مورد استفاده قرار گیرد. PLAT مسیری جدید را برای درک بهتر تعامل مدل‌های ماشینی با زبان انسانی در شرایط چالش‌برانگیز ترسیم می‌کند و زمینه‌ساز تحقیقات آینده در جهت ساخت هوش مصنوعی قوی‌تر و مطمئن‌تر خواهد بود.