در سال‌های اخیر، مدل‌های زبان بزرگ مبتنی بر معماری ترنسفورمر، مانند BERT و GPT، انقلابی در حوزه پردازش زبان طبیعی (NLP) ایجاد کرده‌اند. این مدل‌ها با استفاده از روش‌های پیش‌آموزش خودنظارتی (Self-supervised Pre-training) بر روی حجم عظیمی از داده‌های متنی، توانسته‌اند به درک عمیقی از زبان انسان دست یابند و در طیف وسیعی از وظایف، از جمله ترجمه ماشینی، خلاصه‌سازی متن و تحلیل احساسات، به نتایج پیشرفته‌ای (State-of-the-art) برسند.

با این حال، یکی از چالش‌های اساسی این مدل‌ها، آسیب‌پذیری آن‌ها در برابر تغییرات جزئی و نامحسوس در ورودی است. این تغییرات که به عنوان «حملات تخاصمی» (Adversarial Attacks) شناخته می‌شوند، می‌توانند با ایجاد جایگشت‌های کوچک (مانند تغییر یک کلمه یا افزودن یک کاراکتر نامرئی) عملکرد مدل را به شدت مختل کنند، در حالی که معنای اصلی متن برای انسان تغییر نکرده است. این آسیب‌پذیری، قابلیت اطمینان این مدل‌ها را در کاربردهای حساس مانند سیستم‌های تشخیص هرزنامه، تحلیل اخبار جعلی و دستیارهای هوشمند زیر سؤال می‌برد.

مقاله «یادگیری کنتراستی تفکیک‌شده برای یادگیری بازنمایی‌های متنی مقاوم» به طور مستقیم به این چالش می‌پردازد. ایده اصلی این است که یک بازنمایی متنی ایده‌آل باید نسبت به تغییرات جزئی در ورودی که معنا را تغییر نمی‌دهند، «ناوردا» (Invariant) باشد، اما در عین حال نسبت به تغییراتی که معنای متن را عوض می‌کنند، حساس باشد. این مقاله یک رویکرد نوین به نام یادگیری کنتراستی تفکیک‌شده (Disentangled Contrastive Learning – DCL) را معرفی می‌کند که بدون نیاز به نمونه‌های منفی صریح، به دنبال یادگیری بازنمایی‌های متنی مقاوم و باکیفیت است. اهمیت این پژوهش در ارائه راهکاری کارآمد برای افزایش پایداری و اطمینان‌پذیری مدل‌های زبانی در دنیای واقعی نهفته است.

این مقاله توسط گروهی از پژوهشگران برجسته به نام‌های Xiang Chen, Xin Xie, Zhen Bi, Hongbin Ye, Shumin Deng, Ningyu Zhang و Huajun Chen به رشته تحریر درآمده است. این محققان در حوزه‌های پیشرفته هوش مصنوعی، یادگیری ماشین، پردازش زبان طبیعی و بازیابی اطلاعات فعالیت دارند و به توسعه مدل‌های زبانی مقاوم و کارآمد کمک شایانی کرده‌اند.

زمینه اصلی این تحقیق در تقاطع یادگیری خودنظارتی (Self-supervised Learning) و یادگیری کنتراستی (Contrastive Learning) قرار دارد. یادگیری کنتراستی روشی قدرتمند برای یادگیری بازنمایی است که در آن مدل یاد می‌گیرد نمونه‌های مشابه (مثبت) را در فضای ویژگی به هم نزدیک کرده و نمونه‌های غیرمشابه (منفی) را از هم دور کند. این رویکرد در حوزه بینایی کامپیوتر بسیار موفق بوده است، اما پیاده‌سازی آن در حوزه متن با چالش‌های منحصربه‌فردی روبروست که این مقاله به دنبال حل آن‌هاست.

اگرچه پیش‌آموزش خودنظارتی مدل‌های ترنسفورمر نتایج شگفت‌انگیزی در کاربردهای NLP به همراه داشته است، اما این مدل‌ها همچنان در برابر اغتشاشات کوچک و نامحسوس در ورودی‌های معتبر، آسیب‌پذیر هستند. به طور شهودی، بازنمایی‌ها برای ورودی‌هایی با تغییرات جزئی باید در فضای ویژگی به هم نزدیک باشند، در حالی که برای ورودی‌هایی با معانی متفاوت، باید فاصله زیادی از هم داشته باشند. این ایده، محققان را بر آن داشت تا یادگیری بازنمایی‌های متنی مقاوم را به شیوه‌ای کنتراستی بررسی کنند. با این حال، یافتن نمونه‌های متنی با معنای متضاد (نمونه‌های منفی) کار ساده‌ای نیست.

در این پژوهش، نویسندگان یک روش یادگیری کنتراستی تفکیک‌شده (DCL) را پیشنهاد می‌کنند که دو هدف کلیدی را به طور جداگانه بهینه می‌سازد: هم‌ترازی (Alignment) و یکنواختی (Uniformity)، آن هم بدون نیاز به نمونه‌برداری منفی. به طور خاص، این روش از مفهوم «سازگاری بازنمایی مومنتوم» برای هم‌تراز کردن ویژگی‌ها و از «نرمال‌سازی توانی» برای تضمین یکنواختی توزیع بازنمایی‌ها استفاده می‌کند. نتایج آزمایش‌ها بر روی بنچمارک‌های استاندارد NLP نشان می‌دهد که رویکرد DCL نه تنها از روش‌های پایه بهتر عمل می‌کند، بلکه بهبودهای قابل توجهی در آزمون‌های ناوردایی و مقاومت در برابر حملات تخاصمی نیز به دست می‌آورد.

قلب این مقاله، متدولوژی نوآورانه آن یعنی یادگیری کنتراستی تفکیک‌شده (DCL) است. برای درک بهتر این روش، ابتدا باید چالش اصلی یادگیری کنتراستی در متن را مرور کنیم. در یادگیری کنتراستی استاندارد، برای هر نمونه ورودی (anchor)، یک نمونه مثبت (positive) که نسخه تغییریافته همان ورودی است (مثلاً یک تصویر برش‌خورده) و چندین نمونه منفی (negative) که ورودی‌های کاملاً متفاوتی هستند، ایجاد می‌شود. هدف، به حداقل رساندن فاصله بین anchor و positive و به حداکثر رساندن فاصله بین anchor و negativeها است.

اما در حوزه متن، تعریف «نمونه منفی» بسیار دشوار است. دو جمله متفاوت ممکن است از نظر لغوی فرق داشته باشند اما معنای بسیار نزدیکی داشته باشند. انتخاب تصادفی جملات دیگر به عنوان نمونه منفی می‌تواند مدل را گمراه کند. DCL این مشکل را با حذف کامل نیاز به نمونه‌های منفی حل می‌کند و به جای آن، دو ویژگی مطلوب بازنمایی‌ها را به طور مستقیم بهینه می‌کند:

• هم‌ترازی (Alignment): این ویژگی تضمین می‌کند که بازنمایی‌های نمونه‌های مشابه (مانند یک جمله و نسخه تقویت‌شده آن با dropout) به یکدیگر نزدیک باشند. DCL برای دستیابی به این هدف از تکنیکی به نام سازگاری بازنمایی مومنتوم (Momentum Representation Consistency) استفاده می‌کند. در این روش، دو انکودر وجود دارد: یک انکودر آنلاین که پارامترهایش به طور معمول به‌روزرسانی می‌شود و یک انکودر هدف (مومنتوم) که یک میانگین متحرک نمایی از پارامترهای انکودر آنلاین است. این انکودر هدف، بازنمایی‌های پایدارتری تولید می‌کند و انکودر آنلاین تشویق می‌شود تا خروجی خود را به خروجی انکودر هدف نزدیک کند. این کار به هم‌ترازی مؤثر بدون نیاز به بچ‌های بزرگ کمک می‌کند.
• یکنواختی (Uniformity): این ویژگی تضمین می‌کند که بازنمایی‌های تمام نمونه‌ها در فضای ویژگی به طور یکنواخت پراکنده شوند. این کار از پدیده‌ای به نام «فروپاشی بازنمایی» (Representational Collapse) جلوگیری می‌کند که در آن مدل یاد می‌گیرد تمام ورودی‌ها را به یک نقطه یا یک ناحیه کوچک نگاشت کند و در نتیجه اطلاعات مفیدی را از دست می‌دهد. DCL برای ترویج یکنواختی، از یک تکنیک ریاضی به نام نرمال‌سازی توانی (Power Normalization) استفاده می‌کند. این عملگر بر روی ماتریس ویژگی‌های یک بچ اعمال می‌شود و باعث می‌شود توزیع آن‌ها در فضای بازنمایی پراکنده‌تر و یکنواخت‌تر شود، بدون اینکه به صراحت نمونه‌های منفی را از هم دور کند.

بنابراین، DCL با تفکیک کردن دو هدف اصلی یادگیری کنتراستی و بهینه‌سازی مستقیم آن‌ها، توانسته است بر محدودیت‌های نمونه‌برداری منفی در حوزه متن غلبه کند و به بازنمایی‌هایی دست یابد که هم منسجم و هم متنوع هستند.

نویسندگان برای ارزیابی عملکرد روش DCL، مجموعه‌ای از آزمایش‌های جامع را بر روی بنچمارک‌های استاندارد NLP انجام دادند. یافته‌های اصلی این پژوهش را می‌توان در سه بخش خلاصه کرد:

1. عملکرد برتر در وظایف استاندارد NLP:
   روش DCL در مقایسه با روش‌های پایه و سایر رویکردهای یادگیری کنتراستی (مانند SimCSE) بر روی مجموعه داده‌های ارزیابی معنایی متون (Semantic Textual Similarity – STS) نتایج بهتری کسب کرد. این نشان می‌دهد که بازنمایی‌های تولید شده توسط DCL نه تنها مقاوم‌تر هستند، بلکه از نظر کیفیت کلی برای درک معنایی نیز برتری دارند.
2. بهبود در آزمون‌های ناوردایی (Invariance Tests):
   برای سنجش میزان مقاومت بازنمایی‌ها در برابر تغییرات جزئی، نویسندگان از آزمون‌های ناوردایی استفاده کردند. در این آزمون‌ها، تغییرات کوچکی مانند جایگزینی کلمات با مترادف‌ها یا تغییرات تایپی جزئی در جملات ایجاد می‌شود. نتایج نشان داد که بازنمایی‌های تولید شده توسط DCL، پایداری بسیار بیشتری از خود نشان می‌دهند و شباهت کسینوسی بین بازنمایی جمله اصلی و نسخه تغییریافته آن به طور قابل توجهی بالاتر از مدل‌های دیگر بود.
3. مقاومت بالا در برابر حملات تخاصمی (Adversarial Attacks):
   مهم‌ترین دستاورد DCL، افزایش مقاومت در برابر حملات تخاصمی است. نویسندگان با استفاده از الگوریتم‌های شناخته‌شده تولید نمونه‌های تخاصمی (مانند TextFooler)، مدل‌های مختلف را به چالش کشیدند. نتایج حاکی از آن بود که مدلی که با DCL آموزش دیده بود، دقت خود را در مواجهه با این حملات به مراتب بهتر حفظ کرد. در حالی که دقت مدل‌های پایه به شدت افت می‌کرد، مدل DCL توانست بخش قابل توجهی از عملکرد خود را حفظ کند که این امر گواهی بر مقاومت بالای بازنمایی‌های یادگرفته‌شده است.

دستاوردهای مقاله DCL پیامدهای عملی مهمی برای دنیای واقعی دارد. بازنمایی‌های متنی مقاوم می‌توانند قابلیت اطمینان و امنیت سیستم‌های مبتنی بر NLP را به شکل چشمگیری افزایش دهند. برخی از کاربردهای کلیدی عبارتند از:

• موتورهای جستجوی هوشمندتر: موتورهای جستجو می‌توانند با استفاده از بازنمایی‌های مقاوم، در برابر کوئری‌هایی که با اشتباهات تایپی جزئی یا استفاده از مترادف‌ها نوشته شده‌اند، نتایج پایدارتر و مرتبط‌تری ارائه دهند.
• سیستم‌های تشخیص محتوای مخرب: سیستم‌های فیلترینگ هرزنامه، تشخیص اخبار جعلی و شناسایی سخنان نفرت‌پراکن، اغلب هدف حملات تخاصمی قرار می‌گیرند که در آن مهاجمان با تغییرات جزئی سعی در دور زدن سیستم دارند. DCL می‌تواند این سیستم‌ها را بسیار مقاوم‌تر کند.
• دستیارهای مجازی و چت‌بات‌ها: این سیستم‌ها باید بتوانند مقصود کاربر را حتی با وجود تنوع در بیان و خطاهای گفتاری درک کنند. بازنمایی‌های مقاوم به آن‌ها کمک می‌کند تا درک پایدارتری از درخواست‌های کاربر داشته باشند.
• تحلیل احساسات و نظرات: در تحلیل نظرات مشتریان، تغییرات کوچک در جملات نباید تحلیل کلی احساسات را تغییر دهد. DCL به ساخت مدل‌هایی کمک می‌کند که در این زمینه عملکرد باثبات‌تری دارند.

دستاورد اصلی این مقاله، ارائه یک چارچوب کارآمد و نظری است که نشان می‌دهد برای یادگیری بازنمایی‌های باکیفیت، لزوماً نیازی به نمونه‌های منفی نیست. این ایده می‌تواند الهام‌بخش رویکردهای جدیدی در یادگیری خودنظارتی، نه تنها در NLP بلکه در سایر حوزه‌ها نیز باشد.

مقاله «یادگیری کنتراستی تفکیک‌شده برای یادگیری بازنمایی‌های متنی مقاوم» یک گام مهم در جهت حل یکی از اساسی‌ترین چالش‌های مدل‌های زبان مدرن، یعنی آسیب‌پذیری آن‌ها در برابر اغتشاشات ورودی، برمی‌دارد. روش پیشنهادی DCL با تفکیک و بهینه‌سازی مستقیم دو اصل کلیدی «هم‌ترازی» و «یکنواختی»، نیاز به نمونه‌برداری منفی را که در حوزه متن مشکل‌ساز است، برطرف می‌کند.

این رویکرد نه تنها منجر به تولید بازنمایی‌هایی با کیفیت بالاتر برای وظایف استاندارد NLP می‌شود، بلکه به طور قابل توجهی مقاومت مدل‌ها را در برابر حملات تخاصمی افزایش می‌دهد. این پژوهش راه را برای توسعه نسل بعدی سیستم‌های پردازش زبان طبیعی هموار می‌کند که نه تنها هوشمندتر، بلکه قابل اعتمادتر و امن‌تر نیز هستند و می‌توان با اطمینان بیشتری از آن‌ها در کاربردهای حیاتی استفاده کرد.