در عصر کلان‌داده‌ها، مدل‌های هوش مصنوعی، به‌ویژه مدل‌های زبانی بزرگ (LLMs) که در سیستم‌های پرسش و پاسخ (Question Answering) به کار می‌روند، به منابع اطلاعاتی وسیعی دسترسی دارند. این منابع به دو دسته اصلی تقسیم می‌شوند: دانش پارامتریک (Parametric Knowledge) که در وزن‌ها و پارامترهای خود مدل ذخیره شده است، و دانش غیرپارامتریک (Non-parametric Knowledge) که از طریق بازیابی اسناد و متون خارجی (مانند صفحات وب یا مقالات) به دست می‌آید. رویکرد غالب تاکنون بر این فرض استوار بوده که این منابع دانش با یکدیگر سازگار هستند. اما در دنیای واقعی، اطلاعات مملو از تناقض، خطا و دیدگاه‌های متفاوت است.

این مقاله علمی، که توسط محققانی در حوزه پردازش زبان طبیعی ارائه شده، دقیقاً به همین نقطه ضعف می‌پردازد. اهمیت این پژوهش در آن است که برای نخستین بار به صورت نظام‌مند بررسی می‌کند که وقتی دانش درونی یک مدل با شواهد بازیابی‌شده از منابع خارجی در تضاد قرار می‌گیرد، چه اتفاقی می‌افتد. این تحقیق نشان می‌دهد که مدل‌های فعلی در مواجهه با اطلاعات متناقض، به طرز نگران‌کننده‌ای «اعتماد به نفس کاذب» از خود نشان می‌دهند و بدون تردید، پاسخی قطعی ارائه می‌کنند. این مسئله می‌تواند در کاربردهای حساس مانند پزشکی، حقوقی یا مالی، پیامدهای خطرناکی به همراه داشته باشد. بنابراین، این مقاله نه تنها یک مشکل اساسی را شناسایی می‌کند، بلکه راهکاری عملی برای «واسنجه‌سازی» (Calibration) مدل‌ها ارائه می‌دهد تا در برابر شواهد متعارض، رفتار محتاطانه‌تری از خود نشان دهند.

این مقاله توسط هانگ-تینگ چن (Hung-Ting Chen)، مایکل جی. کیو. ژانگ (Michael J. Q. Zhang) و یون‌سول چوی (Eunsol Choi)، از پژوهشگران برجسته دانشگاه تگزاس در آستین، به رشته تحریر درآمده است. این تحقیق در حوزه «محاسبات و زبان» (Computation and Language) قرار می‌گیرد که زیرمجموعه‌ای از علوم کامپیوتر و هوش مصنوعی است و به طور خاص بر پردازش زبان طبیعی (NLP) تمرکز دارد.

زمینه اصلی این پژوهش، سیستم‌های پرسش و پاسخ پیشرفته، به ویژه معماری‌های مبتنی بر «تولید افزوده با بازیابی» (Retrieval-Augmented Generation – RAG) است. در این سیستم‌ها، مدل زبانی پیش از تولید پاسخ، ابتدا اطلاعات مرتبط را از یک پایگاه داده عظیم بازیابی می‌کند تا پاسخ‌های دقیق‌تر و به‌روزتری ارائه دهد. این مقاله، گامی فراتر از بهبود دقت صرف برداشته و به مسئله «قابلیت اطمینان» (Reliability) و «صحت‌سنجی» (Fact-checking) در این سیستم‌ها می‌پردازد و یکی از چالش‌های بنیادی آن‌ها، یعنی مدیریت تعارض اطلاعات، را هدف قرار می‌دهد.

مدل‌های پرسش و پاسخ مدرن می‌توانند از منابع دانش غنی بهره‌مند شوند که شامل ده‌ها یا صدها متن بازیابی‌شده و دانش پارامتریک ذخیره‌شده در خود مدل زبانی بزرگ است. پژوهش‌های پیشین عمدتاً فرض کرده‌اند که اطلاعات موجود در این منابع با یکدیگر سازگار هستند و توجه کمی به چگونگی ترکیب دانش پارامتریک مدل با شواهد بازیابی‌شده داشته‌اند.

در این مقاله، نویسندگان به شبیه‌سازی تعارضات دانشی (Knowledge Conflicts) می‌پردازند؛ شرایطی که در آن دانش پارامتریک مدل یک پاسخ را پیشنهاد می‌کند، در حالی که متون بازیابی‌شده پاسخ‌های متفاوتی را ارائه می‌دهند. آن‌ها رفتار مدل را در این شرایط بررسی می‌کنند و درمی‌یابند که کیفیت فرآیند بازیابی اطلاعات تأثیر به‌سزایی بر منبع مورد اتکای مدل دارد. همچنین مشاهده می‌شود که مدل‌های فعلی در بهترین حالت عملکردی خود، بیشتر به دانش غیرپارامتریک (متون بازیابی‌شده) تکیه می‌کنند. یافته نگران‌کننده این است که وجود تناقضات میان منابع دانش، تأثیر بسیار ناچیزی بر سطح اطمینان (Confidence) مدل دارد. برای حل این مشکل، نویسندگان یک مطالعه «واسنجه‌سازی» جدید را معرفی می‌کنند که در آن، مدل‌ها تشویق می‌شوند تا هنگام مواجهه با چندین گزینه پاسخ متناقض در شواهد بازیابی‌شده، از ارائه یک پاسخ قطعی خودداری کنند.

محققان برای مطالعه رفتار مدل‌ها در شرایط عدم قطعیت، یک روش‌شناسی دقیق و چندمرحله‌ای را طراحی کردند:

• شبیه‌سازی سناریوهای تعارض: آن‌ها با استفاده از مجموعه داده‌های استاندارد پرسش و پاسخ، سناریوهایی را ایجاد کردند که در آن تعارض به صورت کنترل‌شده وجود دارد. برای مثال، برای پرسش «پایتخت استرالیا کجاست؟»، دانش پارامتریک مدل به درستی پاسخ «کانبرا» را می‌داند. سپس، محققان به صورت مصنوعی اسنادی را به مدل ارائه دادند که به اشتباه «سیدنی» یا «ملبورن» را به عنوان پایتخت معرفی می‌کردند.
• تحلیل رفتار مدل: در این سناریوها، سه جنبه کلیدی از رفتار مدل اندازه‌گیری شد:
  1. انتخاب پاسخ: مدل کدام پاسخ را انتخاب می‌کند؟ پاسخ مبتنی بر دانش درونی خود یا پاسخ‌های موجود در اسناد متعارض؟
  2. وابستگی به منبع: آیا مدل به دانش پارامتریک خود وفادار می‌ماند یا به شواهد خارجی اعتماد می‌کند؟ این وابستگی با بررسی کیفیت اسناد بازیابی‌شده سنجیده شد.
  3. سطح اطمینان: مهم‌ترین معیار، اندازه‌گیری احتمال یا امتیاز اطمینانی بود که مدل به پاسخ نهایی خود اختصاص می‌دهد. هدف این بود که ببینیم آیا این امتیاز با وجود تعارضات کاهش می‌یابد یا خیر.
• توسعه روش واسنجه‌سازی: برای مقابله با مشکل «اعتماد به نفس کاذب»، یک روش تنظیم دقیق (Fine-tuning) جدید پیشنهاد شد. در این روش، مدل روی مجموعه داده‌ای آموزش داده می‌شود که حاوی نمونه‌های متعارض است. برخلاف آموزش‌های معمول که مدل را برای انتخاب یک پاسخ صحیح جریمه می‌کنند، در اینجا تابع زیان (Loss Function) به گونه‌ای طراحی شده که اگر مدل در مواجهه با شواهد متناقض، یک پاسخ قطعی با اطمینان بالا ارائه دهد، جریمه شود. در عوض، مدل یاد می‌گیرد که در چنین شرایطی، عدم قطعیت خود را با کاهش امتیاز اطمینان یا تولید یک پاسخ ویژه (مثلاً “اطلاعات متناقض است”) نشان دهد.

این پژوهش به چندین یافته مهم و تأمل‌برانگیز دست یافت که درک ما از عملکرد مدل‌های زبانی را به چالش می‌کشد:

• تکیه بر شواهد خارجی: مشخص شد که در تنظیمات بهینه، یعنی زمانی که سیستم بازیابی اطلاعات، اسناد مرتبط و باکیفیتی را پیدا می‌کند، مدل‌ها به شدت به دانش غیرپارامتریک (اسناد بازیابی‌شده) تکیه می‌کنند، حتی اگر این اطلاعات با دانش درونی آن‌ها در تضاد باشد. این نشان می‌دهد که معماری RAG به درستی کار می‌کند، اما همزمان آن را در برابر اطلاعات نادرست خارجی آسیب‌پذیر می‌سازد.
• مشکل اصلی؛ اعتماد به نفس کاذب: یافته تکان‌دهنده تحقیق این بود که وجود تناقضات آشکار در منابع اطلاعاتی، تأثیر معناداری بر اطمینان مدل ندارد. برای مثال، حتی اگر مدل پنج سند مختلف را مشاهده کند که هر کدام پایتخت متفاوتی را برای یک کشور ذکر کرده‌اند، باز هم ممکن است یکی از آن‌ها را با اطمینان بالای ۹۹٪ به عنوان پاسخ نهایی انتخاب کند. این روند نگران‌کننده (Troubling Trend) نشان می‌دهد که مدل‌ها توانایی درک و مدل‌سازی عدم قطعیت ناشی از تعارض داده‌ها را ندارند.
• تأثیر کیفیت بازیابی: عملکرد و انتخاب نهایی مدل به شدت تحت تأثیر کیفیت اسناد بازیابی‌شده است. اگر اسناد بازیابی‌شده بسیار مرتبط با سؤال باشند (حتی اگر حاوی اطلاعات غلط باشند)، احتمال اینکه دانش پارامتریک مدل را نادیده بگیرند، بسیار بیشتر است.

این مقاله صرفاً یک تحلیل نظری نیست، بلکه دستاوردهای عملی و کاربردی مهمی برای آینده هوش مصنوعی دارد:

• ساخت سیستم‌های هوش مصنوعی قابل اعتمادتر: روش واسنجه‌سازی ارائه‌شده می‌تواند به ساخت مدل‌هایی منجر شود که «صادق‌تر» هستند. یک سیستم هوش مصنوعی که می‌تواند بگوید «من نمی‌دانم» یا «منابع در این مورد اختلاف نظر دارند»، بسیار امن‌تر و مفیدتر از سیستمی است که با اطمینان کامل اطلاعات نادرست تولید می‌کند.
• بهبود معماری‌های RAG: نتایج این تحقیق به توسعه‌دهندگان سیستم‌های RAG نشان می‌دهد که باید تمرکز خود را از صرفاً «بازیابی اطلاعات مرتبط» به «ارزیابی و مدیریت سازگاری اطلاعات بازیابی‌شده» تغییر دهند. الگوریتم‌هایی برای تشخیص و حل تعارض باید بخشی جدایی‌ناپذیر از این سیستم‌ها شوند.
• گشودن مسیرهای تحقیقاتی جدید: این مقاله درهایی را به روی حوزه‌های جدیدی مانند «کمی‌سازی عدم قطعیت» (Uncertainty Quantification)، «استدلال در حضور تناقض» و «اعتبارسنجی خودکار منابع» در مدل‌های زبانی بزرگ باز می‌کند.

مقاله «منابع دانش غنی، تعارضات دانشی پیچیده‌ای ایجاد می‌کنند» یک هشدار و در عین حال یک راه حل ارائه می‌دهد. این تحقیق به وضوح نشان می‌دهد که دسترسی به حجم عظیمی از اطلاعات، یک شمشیر دولبه است که در کنار مزایای خود، چالش پیچیده مدیریت تعارضات را نیز به همراه دارد. مدل‌های زبانی فعلی، علی‌رغم توانایی‌های شگفت‌انگیزشان، در مواجهه با اطلاعات متناقض به شدت ضعیف عمل کرده و با اعتماد به نفسی خطرناک، پاسخ‌های نادرست ارائه می‌دهند.

راهکار واسنجه‌سازی پیشنهادی، گامی مهم در جهت آموزش مدل‌ها برای تشخیص و اعلام عدم قطعیت است. با حرکت به سوی استفاده از هوش مصنوعی در حوزه‌های حیاتی و حساس، توانایی یک مدل برای مدیریت هوشمندانه اطلاعات متناقض، دیگر یک ویژگی لوکس نیست، بلکه یک ضرورت اساسی برای تضمین ایمنی، قابلیت اطمینان و مسئولیت‌پذیری این فناوری‌ها خواهد بود. این پژوهش، نقشه راهی برای ساخت نسل بعدی سیستم‌های هوش مصنوعی ارائه می‌دهد که نه تنها «دانا»، بلکه «محتاط» نیز هستند.