مدل‌های زبان بزرگ (LLMs) مانند GPT-4 و PaLM انقلابی در حوزه پردازش زبان طبیعی ایجاد کرده‌اند. این مدل‌ها به لطف آموزش روی حجم عظیمی از داده‌های متنی، دانش گسترده‌ای از جهان را در حافظه داخلی خود ذخیره می‌کنند. اما این دانش داخلی همیشه دقیق، کامل یا به‌روز نیست. در کاربردهای دنیای واقعی، ما اغلب اطلاعاتی را به عنوان «متن ورودی» (Context) به مدل ارائه می‌دهیم تا پاسخ‌های دقیق‌تری تولید کند. اینجا یک چالش اساسی مطرح می‌شود: اگر اطلاعات موجود در متن ورودی با دانش ذخیره‌شده در حافظه مدل در تضاد باشد، مدل کدام را باید انتخاب کند؟

رفتار مطلوب این است که مدل به اطلاعات ارائه‌شده در متن ورودی اولویت دهد. این ویژگی، که «کنترل‌پذیری» نامیده می‌شود، به ما امکان می‌دهد تا بدون نیاز به بازآموزی پرهزینه، دانش مدل را به‌روزرسانی یا اصلاح کنیم. از سوی دیگر، اگر متن ورودی هیچ ارتباطی با پرسش مطرح‌شده نداشته باشد، مدل باید آن را نادیده گرفته و به دانش داخلی خود تکیه کند. این ویژگی «استواری» نام دارد. مقاله «مدل‌های زبان بزرگ با حافظه کاری قابل کنترل» برای اولین بار این دو ویژگی حیاتی را به صورت همزمان بررسی کرده و نشان می‌دهد که مدل‌های پیشرفته امروزی در این زمینه ضعف‌های جدی دارند. سپس، راهکاری نوین برای حل این مشکل ارائه می‌دهد که گامی مهم به سوی ساخت سیستم‌های هوش مصنوعی قابل اعتمادتر و قابل کنترل‌تر است.

این مقاله توسط تیمی از پژوهشگران برجسته در زمینه هوش مصنوعی و یادگیری ماشین به نگارش درآمده است: دالیانگ لی، آنکیت سینگ راوات، منزل ظهیر، شین وانگ، میشال لوکاسیک، آندریاس فایت، فلیکس یو و سانجیو کومار. این محققان، که بسیاری از آن‌ها با مراکز تحقیقاتی پیشرو مانند گوگل در ارتباط هستند، در خط مقدم توسعه و تحلیل مدل‌های زبان بزرگ قرار دارند. این تحقیق در تقاطع حوزه‌های پردازش زبان طبیعی (NLP)، هوش مصنوعی (AI) و یادگیری ماشین (ML) قرار می‌گیرد و به یکی از چالش‌های بنیادی در عملیاتی‌سازی این مدل‌ها می‌پردازد: اطمینان از اینکه خروجی مدل‌ها بر اساس شواهد ارائه‌شده است و نه صرفاً بر اساس اطلاعات از پیش‌آموخته‌شده و بالقوه نادرست.

این مقاله به بررسی تعامل میان «دانش جهانی» ذخیره‌شده در مدل‌های زبان بزرگ و «اطلاعات واقعی» ارائه‌شده در متن ورودی می‌پردازد. نویسندگان دو ویژگی کلیدی را تعریف می‌کنند:

• کنترل‌پذیری (Controllability): توانایی مدل در اولویت دادن به اطلاعات موجود در متن ورودی، به‌ویژه زمانی که این اطلاعات با دانش داخلی مدل در تضاد است. این امر به ما اجازه می‌دهد تا رفتار مدل را بر اساس ورودی کنترل کنیم.
• استواری (Robustness): توانایی مدل در نادیده گرفتن متن ورودی نامرتبط و تکیه بر دانش داخلی خود برای پاسخ به سوال. این ویژگی از انحراف مدل توسط اطلاعات بی‌ربط جلوگیری می‌کند.

تحقیقات نشان می‌دهد که مدل‌های پیشرفته‌ای مانند T5 و PaLM، چه در حالت پیش‌آموزش‌دیده و چه در حالت تنظیم دقیق شده، در هر دو زمینه کنترل‌پذیری و استواری عملکرد ضعیفی از خود نشان می‌دهند. نکته نگران‌کننده این است که افزایش اندازه مدل نیز این مشکل را حل نمی‌کند.

برای رفع این نقیصه، مقاله یک روش جدید به نام تنظیم دقیق آگاه از دانش (Knowledge Aware Fine-Tuning – KAFT) را پیشنهاد می‌کند. این روش با افزودن مثال‌های «ضدواقعیت» (Counterfactual) و «نامرتبط» (Irrelevant) به مجموعه داده‌های آموزشی استاندارد، مدل را به طور مستقیم برای مدیریت این سناریوها آموزش می‌دهد. ارزیابی‌های جامع نشان می‌دهند که KAFT به طور قابل توجهی کنترل‌پذیری و استواری را در معماری‌ها و اندازه‌های مختلف مدل بهبود می‌بخشد.

برای درک عمیق‌تر این پژوهش، ابتدا باید مفاهیم اصلی و نحوه ارزیابی آن‌ها را بررسی کنیم. محققان برای سنجش عملکرد مدل‌ها، مجموعه داده‌هایی طراحی کردند که به طور خاص این دو رفتار را به چالش می‌کشند.

تعریف و ارزیابی کنترل‌پذیری و استواری:

• برای تست کنترل‌پذیری: مثال‌هایی ساخته شد که در آن‌ها متن ورودی حاوی یک «واقعیت ضدواقعی» بود. برای مثال، دانش داخلی مدل می‌گوید «پایتخت فرانسه پاریس است». اما متن ورودی به آن می‌گوید: «بر اساس یک رمان جدید، پایتخت فرانسه مارسی است». سپس از مدل سوال می‌شود: «بر اساس این رمان، پایتخت فرانسه کجاست؟». یک مدل کنترل‌پذیر باید پاسخ دهد «مارسی». مدل‌های فعلی اغلب به دانش داخلی خود چسبیده و به اشتباه پاسخ می‌دهند «پاریس».
• برای تست استواری: در این حالت، متن ورودی حاوی اطلاعاتی کاملاً نامرتبط با سوال است. برای مثال، متن ورودی: «امروز هوا آفتابی است». سوال: «پایتخت فرانسه کجاست؟». یک مدل استوار باید متن نامرتبط را نادیده گرفته و با تکیه بر دانش خود پاسخ صحیح «پاریس» را بدهد. مدل‌های ضعیف ممکن است گیج شده و پاسخ نامربوطی تولید کنند.

راه‌حل پیشنهادی: تنظیم دقیق آگاه از دانش (KAFT)

پس از آشکار شدن ضعف مدل‌های موجود، نویسندگان روش KAFT را به عنوان راه‌حل معرفی کردند. این روش یک فرآیند تنظیم دقیق (Fine-tuning) است که در آن، مجموعه داده‌های آموزشی استاندارد با نمونه‌های جدیدی غنی‌سازی می‌شود:

• نمونه‌های ضدواقعیت: این نمونه‌ها به مدل یاد می‌دهند که وقتی اطلاعاتی معتبر در متن ورودی وجود دارد، باید به آن اعتماد کند، حتی اگر با دانش قبلی‌اش مغایرت داشته باشد. این کار به تقویت «کنترل‌پذیری» کمک می‌کند.
• نمونه‌های با متن نامرتبط: این نمونه‌ها به مدل آموزش می‌دهند که چگونه اطلاعات غیرمرتبط را شناسایی و نادیده بگیرد و در عوض از پایگاه دانش داخلی خود استفاده کند. این امر «استواری» را افزایش می‌دهد.

با آموزش مدل بر روی ترکیبی از داده‌های استاندارد، ضدواقعیت و نامرتبط، KAFT به مدل کمک می‌کند تا یک مکانیزم تصمیم‌گیری پویا ایجاد کند: «چه زمانی به ورودی اعتماد کنم و چه زمانی به حافظه خودم؟». این رویکرد، برخلاف روش‌های دیگر، به طور همزمان هر دو جنبه‌ی مهم کنترل‌پذیری و استواری را بهبود می‌بخشد.

نتایج تجربی این مقاله بسیار روشنگر و قابل توجه هستند و درک ما را از محدودیت‌های مدل‌های زبان بزرگ تغییر می‌دهند.

• ضعف ذاتی مدل‌های پیشرفته: آزمایش‌ها به وضوح نشان دادند که مدل‌های T5 و PaLM، که از قدرتمندترین مدل‌های زبان در زمان خود بودند، در مواجهه با اطلاعات متناقض یا نامرتبط، عملکرد ضعیفی دارند. آن‌ها تمایل شدیدی به نادیده گرفتن متن ورودی و تکیه بر دانش از پیش‌آموخته‌شده خود نشان می‌دهند، که این امر منجر به پاسخ‌های نادرست و غیرقابل اعتماد می‌شود.
• بزرگ‌تر شدن مدل، راه‌حل نیست: یکی از شگفت‌انگیزترین یافته‌های این تحقیق این بود که افزایش مقیاس و اندازه مدل (تعداد پارامترها) لزوماً به بهبود کنترل‌پذیری و استواری منجر نمی‌شود. این یافته با تصور رایج که «مقیاس، تمام آن چیزی است که نیاز دارید» در تضاد است و نشان می‌دهد که برای دستیابی به رفتارهای مطلوب، به روش‌های آموزشی هوشمندانه‌تری نیاز داریم.
• اثربخشی چشمگیر روش KAFT: مدل‌هایی که با استفاده از روش KAFT تنظیم دقیق شده بودند، بهبود قابل توجهی در هر دو معیار کنترل‌پذیری و استواری از خود نشان دادند. این مدل‌ها یاد گرفتند که به طور هوشمندانه بین دانش داخلی و اطلاعات زمینه‌ای تمایز قائل شوند و بر اساس آن تصمیم‌گیری کنند. این بهبود در مدل‌ها و اندازه‌های مختلف سازگار بود، که نشان‌دهنده کارایی بالای این روش است.

پیامدهای این تحقیق فراتر از یک پیشرفت آکادمیک است و کاربردهای عملی گسترده‌ای در دنیای واقعی دارد:

• ساخت سیستم‌های پرسش و پاسخ قابل اعتماد: در کاربردهایی مانند دستیارهای مجازی حقوقی یا پزشکی، مدل باید پاسخ‌های خود را صرفاً بر اساس اسناد و مدارک ارائه‌شده (متن ورودی) استوار کند، نه اطلاعات عمومی اینترنت. KAFT این قابلیت اطمینان را افزایش می‌دهد.
• به‌روزرسانی و اصلاح دانش مدل بدون بازآموزی: به جای بازآموزی کامل یک مدل چند صد میلیارد پارامتری برای اصلاح یک واقعیت، می‌توان اطلاعات صحیح را در متن ورودی به آن ارائه داد. یک مدل آموزش‌دیده با KAFT این اطلاعات جدید را پذیرفته و از آن استفاده می‌کند.
• کاهش «توهم» (Hallucination) در مدل‌ها: توهم، یا تولید اطلاعات نادرست، یکی از مشکلات جدی LLMها است. با وادار کردن مدل به پایبندی به یک منبع اطلاعاتی مشخص، می‌توان از تولید محتوای ساختگی و غیرواقعی جلوگیری کرد.
• افزایش ایمنی و کنترل‌پذیری هوش مصنوعی: در سیستم‌های حساس، توانایی کنترل دقیق خروجی مدل و اطمینان از اینکه رفتار آن قابل پیش‌بینی است، امری حیاتی است. این تحقیق گامی مهم در جهت ایجاد مدل‌های زبانی است که می‌توان رفتار آن‌ها را هدایت و کنترل کرد.

مقاله «مدل‌های زبان بزرگ با حافظه کاری قابل کنترل» یکی از چالش‌های اساسی و در عین حال کمتر پرداخته‌شده در حوزه هوش مصنوعی را مورد بررسی قرار می‌دهد: مدیریت تضاد بین دانش داخلی مدل و اطلاعات جدید ارائه‌شده. این پژوهش با معرفی مفاهیم کنترل‌پذیری و استواری، چارچوبی برای تحلیل و ارزیابی این رفتار فراهم می‌کند.

مهم‌ترین دستاورد این مقاله، ارائه روش KAFT است؛ یک راهکار مؤثر و مقیاس‌پذیر که به مدل‌های زبان بزرگ می‌آموزد چگونه به طور هوشمندانه بین حافظه داخلی و متن ورودی یکی را انتخاب کنند. این تحقیق نشان می‌دهد که برای ساختن مدل‌های هوشمندتر، تنها افزایش اندازه کافی نیست، بلکه باید روی روش‌های آموزشی تمرکز کنیم که رفتارهای مطلوب و قابل اعتمادی را در آن‌ها نهادینه کنند. این کار گامی بلند به سوی تحقق نسل بعدی سیستم‌های هوش مصنوعی است که نه تنها قدرتمند، بلکه قابل کنترل، قابل اعتماد و ایمن نیز هستند.