مدل‌های زبان بزرگ (LLMs) که بر روی حجم عظیمی از داده‌ها پیش‌آموزش دیده‌اند، انقلابی در حوزه پردازش زبان طبیعی (NLP) ایجاد کرده‌اند. این مدل‌ها در انجام طیف گسترده‌ای از وظایف، از تولید متن و ترجمه گرفته تا پاسخ به پرسش‌ها، توانایی‌های شگفت‌انگیزی از خود نشان داده‌اند. با این حال، یکی از بزرگترین چالش‌ها و نقاط ضعف این مدل‌ها، شکنندگی آن‌ها در برابر ورودی‌های «برون‌توزیع» (Out-of-Distribution – OOD) است. ورودی OOD به داده‌ای اطلاق می‌شود که از نظر آماری با داده‌هایی که مدل با آن‌ها آموزش دیده، تفاوت معناداری دارد.

این ضعف، یک ریسک بزرگ برای کاربردهای صنعتی و دنیای واقعی محسوب می‌شود. تصور کنید یک دستیار صوتی یا یک سیستم پشتیبانی مشتری که با یک پرسش غیرمنتظره یا نامرتبط مواجه می‌شود، به جای تشخیص عدم توانایی خود در پاسخگویی، یک پاسخ بی‌ربط یا حتی اشتباه و مضر تولید کند. این مسئله اهمیت «تشخیص OOD» را به عنوان یک جزء حیاتی برای ساخت سیستم‌های هوش مصنوعی قابل اعتماد و ایمن، دوچندان می‌کند. مقاله «آموزش شبه‌برون‌توزیع برای مدل‌های زبانی مقاوم» یک راهکار نوآورانه و عملی برای این چالش ارائه می‌دهد. اهمیت این پژوهش در این است که به جای تکیه بر داده‌های OOD واقعی که اغلب کمیاب یا ناشناخته هستند، روشی را برای تولید داده‌های OOD مصنوعی (شبه‌OOD) از دل داده‌های موجود پیشنهاد می‌کند تا مقاومت مدل‌ها را به شکل چشمگیری افزایش دهد.

این مقاله توسط داناسکار سوندارارامان، نیکیل مهتا و لارنس کارین به نگارش درآمده است. این پژوهشگران از چهره‌های فعال در حوزه یادگیری ماشین، یادگیری عمیق و به خصوص پردازش زبان طبیعی هستند. تحقیقات آن‌ها عمدتاً بر روی افزایش قابلیت اطمینان، استحکام و ایمنی مدل‌های هوش مصنوعی متمرکز است.

این پژوهش در بستر یک جریان تحقیقاتی بزرگتر به نام «هوش مصنوعی قابل اعتماد» (Trustworthy AI) قرار می‌گیرد. با گسترش نفوذ سیستم‌های هوشمند در جنبه‌های مختلف زندگی، از پزشکی و مالی گرفته تا حمل‌ونقل خودران، اطمینان از اینکه این سیستم‌ها در شرایط پیش‌بینی‌نشده رفتار ایمن و قابل اعتمادی از خود نشان می‌دهند، به یک اولویت اصلی تبدیل شده است. این مقاله با تمرکز بر تشخیص ورودی‌های ناشناخته، گام مهمی در جهت ساخت مدل‌های زبانی برمی‌دارد که نه تنها قدرتمند، بلکه آگاه به محدودیت‌های خود نیز هستند.

مقاله با بیان این مسئله آغاز می‌شود که مدل‌های پیش‌آموزش‌دیده بزرگ، علی‌رغم موفقیت‌هایشان، در مواجهه با ورودی‌های OOD پیش‌بینی‌های غیرقابل اعتمادی انجام می‌دهند. رویکردهای رایج برای حل این مشکل، معمولاً نیازمند دسترسی به نمونه‌های OOD در حین آموزش هستند؛ اما در عمل، توزیع داده‌های ناشناخته از قبل مشخص نیست و جمع‌آوری آن‌ها دشوار یا غیرممکن است.

برای غلبه بر این محدودیت، نویسندگان یک چارچوب «پسینی» (Post hoc) به نام POORE (POsthoc pseudo-Ood REgularization) را پیشنهاد می‌کنند. واژه پسینی به این معناست که این روش پس از مرحله پیش‌آموزش اولیه مدل اعمال می‌شود و نیازی به تغییر فرآیند اصلی ندارد. ایده اصلی POORE تولید نمونه‌های «شبه‌برون‌توزیع» (Pseudo-OOD) با استفاده از داده‌های «درون‌توزیع» (In-Distribution – IND) موجود است. سپس، مدل با استفاده از یک تابع زیان «تنظیم‌گر» (Regularization Loss) جدید، دوباره تنظیم (fine-tune) می‌شود. این تابع زیان به گونه‌ای طراحی شده که بازنمایی‌های بُرداری (Embeddings) داده‌های IND و شبه‌OOD را در فضای ویژگی مدل از یکدیگر دور کند. این جداسازی باعث ایجاد یک مرز تصمیم‌گیری واضح‌تر بین داده‌های آشنا و ناآشنا می‌شود و در نتیجه، توانایی مدل در تشخیص ورودی‌های OOD در مرحله آزمون به طور قابل توجهی بهبود می‌یابد. نویسندگان کارایی چارچوب خود را بر روی سه سیستم گفتگوی دنیای واقعی به طور گسترده ارزیابی کرده و به نتایج پیشرفته و جدیدی در زمینه تشخیص OOD دست یافته‌اند.

روش‌شناسی پیشنهادی در این مقاله، یعنی چارچوب POORE، بر دو ستون اصلی استوار است: تولید نمونه‌های شبه‌OOD و بهینه‌سازی مدل با یک تابع زیان تنظیم‌گر.

• تولید نمونه‌های شبه‌برون‌توزیع:
  چالش اصلی این است که چگونه بدون دسترسی به داده‌های OOD واقعی، نمونه‌هایی بسازیم که به اندازه کافی از داده‌های IND متفاوت باشند تا مدل را به چالش بکشند. مقاله به طور مستقیم جزئیات روش تولید را بیان نکرده اما می‌توان تکنیک‌های رایج در این زمینه را که احتمالاً الهام‌بخش این چارچوب بوده‌اند، بررسی کرد:
  • اغتشاش معنایی (Semantic Perturbation): در این روش، بخش‌هایی از یک جمله IND (مانند اسم‌ها یا فعل‌های کلیدی) با کلمات تصادفی یا نامرتبط جایگزین می‌شوند. برای مثال، جمله «موجودی حساب من چقدر است؟» (IND) می‌تواند به «موجودی سیب‌زمینی من چقدر است؟» (شبه‌OOD) تبدیل شود. این جمله جدید از نظر ساختار گرامری صحیح است اما از نظر معنایی بی‌ربط و خارج از دامنه وظیفه مدل است.
  • ترکیب در فضای پنهان (Manifold Mixup): این تکنیک به جای دستکاری متن ورودی، بازنمایی‌های برداری (Embeddings) دو نمونه IND متفاوت را با یکدیگر ترکیب می‌کند. بردار حاصل، نماینده یک نقطه میانی در فضای ویژگی است که به هیچ یک از دسته‌های اصلی تعلق ندارد و می‌تواند به عنوان یک نمونه شبه‌OOD عمل کند.

  هدف از این کار، ایجاد داده‌هایی است که در مرزهای توزیع داده‌های آشنا قرار می‌گیرند و به مدل کمک می‌کنند تا این مرزها را بهتر بیاموزد.

• تنظیم‌گر جداساز (Separation Regularizer):
  پس از تولید نمونه‌های شبه‌OOD، مدل با یک هدف جدید آموزش می‌بیند. تابع زیان POORE به گونه‌ای طراحی شده که مدل را مجبور کند:
  1. بازنمایی بردارهای داده‌های IND را به یکدیگر نزدیک کرده و در یک خوشه متراکم قرار دهد.
  2. بازنمایی بردارهای نمونه‌های شبه‌OOD را از این خوشه دور کند.

  این فرآیند مانند ایجاد یک “حاشیه امن” در اطراف قلمرو داده‌های آشنا عمل می‌کند. در زمان آزمون، وقتی یک ورودی جدید به مدل داده می‌شود، مدل بازنمایی برداری آن را محاسبه می‌کند. اگر این بردار درون خوشه IND قرار گیرد، به عنوان یک ورودی معتبر پردازش می‌شود. اما اگر خارج از این حاشیه امن بیفتد، به عنوان OOD شناسایی شده و رد می‌شود.

آزمایش‌های انجام شده توسط نویسندگان، موفقیت چشمگیر چارچوب POORE را به اثبات رسانده است. یافته‌های اصلی این پژوهش عبارتند از:

• بهبود قابل توجه در تشخیص OOD: چارچوب POORE به طور مداوم عملکرد بهتری نسبت به روش‌های پیشین در تشخیص ورودی‌های OOD در هر سه مجموعه داده ارزیابی شده، از خود نشان داد و به نتایج State-of-the-Art (SOTA) دست یافت.
• کارایی بدون نیاز به داده OOD واقعی: مهم‌ترین دستاورد این است که تمام این بهبودها بدون استفاده از حتی یک نمونه OOD واقعی در فرآیند آموزش حاصل شده است. این ویژگی، POORE را به یک راه‌حل بسیار عملی و مقرون‌به‌صرفه برای کاربردهای صنعتی تبدیل می‌کند.
• عمومیت‌پذیری بالا: از آنجایی که POORE یک چارچوب پسینی است، می‌توان آن را به راحتی بر روی مدل‌های زبانی از پیش آموزش‌دیده مختلف اعمال کرد و مقاومت آن‌ها را افزایش داد، بدون آنکه نیاز به بازطراحی معماری مدل باشد.

این یافته‌ها نشان می‌دهد که می‌توان با بهره‌گیری هوشمندانه از داده‌های موجود، مقاومت مدل‌های زبانی را در برابر ناشناخته‌ها به شکل مؤثری تقویت کرد.

روش ارائه شده در این مقاله پیامدهای عملی گسترده‌ای برای توسعه سیستم‌های هوش مصنوعی ایمن و قابل اعتماد دارد. برخی از مهم‌ترین کاربردها و دستاوردهای آن عبارتند از:

• سیستم‌های گفتگوی هوشمندتر: دستیاران مجازی و چت‌بات‌ها می‌توانند درخواست‌های خارج از محدوده دانش خود را شناسایی کرده و به جای ارائه پاسخ‌های نادرست، با پیام‌هایی مانند «متأسفم، من در این زمینه نمی‌توانم کمکی کنم» به کاربر پاسخ دهند. این امر تجربه کاربری را بهبود بخشیده و از انتشار اطلاعات غلط جلوگیری می‌کند.
• افزایش ایمنی در کاربردهای حساس: در حوزه‌هایی مانند پزشکی، حقوقی یا مالی که یک توصیه اشتباه می‌تواند عواقب جدی داشته باشد، تشخیص ورودی‌های OOD یک ضرورت است. برای مثال، یک سیستم مشاور پزشکی هوشمند باید بتواند یک پرسش نامرتبط یا پیچیده‌تر از دانش خود را تشخیص داده و کاربر را به یک متخصص انسانی ارجاع دهد.
• کاهش هزینه‌های توسعه: با حذف نیاز به جمع‌آوری و برچسب‌زنی داده‌های OOD، این روش به شرکت‌ها اجازه می‌دهد تا با استفاده از داده‌های موجود خود، مدل‌های مقاوم‌تری بسازند و در زمان و منابع صرفه‌جویی کنند.
• مقابله با ورودی‌های مخرب: این چارچوب می‌تواند به عنوان یک خط دفاعی در برابر حملات خصمانه (Adversarial Attacks) عمل کند، جایی که مهاجمان سعی می‌کنند با ورودی‌های دستکاری‌شده مدل را فریب دهند.

مقاله «آموزش شبه‌برون‌توزیع برای مدل‌های زبانی مقاوم» یک راه‌حل خلاقانه و کارآمد برای یکی از اساسی‌ترین چالش‌های مدل‌های زبان بزرگ، یعنی آسیب‌پذیری آن‌ها در برابر داده‌های برون‌توزیع، ارائه می‌دهد. چارچوب POORE با تولید هوشمندانه داده‌های شبه‌OOD از داده‌های درون‌توزیع و استفاده از یک تابع زیان تنظیم‌گر برای جداسازی این دو فضا، راهی عملی برای ساخت مدل‌های مقاوم‌تر بدون نیاز به داده‌های خارجی فراهم می‌کند.

این پژوهش نه تنها نتایج پیشرفته‌ای در معیارهای استاندارد به دست آورده، بلکه یک پارادایم فکری مهم را نیز تقویت می‌کند: برای ساختن هوش مصنوعی قابل اعتماد، مدل‌ها باید قادر به درک مرزهای دانش خود باشند. POORE گامی مهم در این مسیر است و راه را برای توسعه نسل بعدی سیستم‌های هوش مصنوعی که ایمن‌تر، قابل اعتمادتر و آگاه‌تر از محدودیت‌هایشان هستند، هموار می‌سازد.