مدل‌های زبان بزرگ (LLMs) در سال‌های اخیر، پیشرفت‌های قابل توجهی در زمینه‌ی پردازش زبان طبیعی (NLP) به ارمغان آورده‌اند. این مدل‌ها، به ویژه در وظایفی نظیر پاسخ به سوالات و تولید متن، عملکرد بسیار خوبی از خود نشان داده‌اند. یکی از عوامل کلیدی در موفقیت این مدل‌ها، دانش واقعیتی است که در طول فرآیند آموزش (pretraining) و تنظیم دقیق (instruction tuning) کسب می‌کنند. این دانش، برخلاف پایگاه‌های دانش (KBs) سنتی که به طور صریح حقایق را ذخیره می‌کنند، به طور ضمنی در پارامترهای مدل ذخیره می‌شود. با این حال، محتوای تولید شده توسط این مدل‌ها، گاهی اوقات دارای عدم دقت‌ها یا انحرافاتی از حقیقت است، زیرا حقایق ممکن است به طور نادرست القا شده یا با گذشت زمان منسوخ شوند. این مقاله به بررسی میزان و گستره دانش واقعیتی موجود در مدل‌های زبان بزرگ می‌پردازد و چالش‌های موجود در این زمینه را مورد بررسی قرار می‌دهد.

این مقاله توسط Xuming Hu، Junzhe Chen، Xiaochuan Li، Yufei Guo، Lijie Wen، Philip S. Yu و Zhijiang Guo نوشته شده است. نویسندگان این مقاله، متخصصان حوزه‌ی محاسبات و زبان (Computation and Language) هستند و به طور خاص بر روی مدل‌های زبان بزرگ و توانایی آن‌ها در درک و استفاده از دانش واقعیتی تمرکز دارند. زمینه‌ی کاری آن‌ها بر روی ایجاد سیستم‌های هوش مصنوعی قابل اعتماد و مبتنی بر واقعیت استوار است.

چکیده این مقاله، به بررسی این موضوع می‌پردازد که آیا مدل‌های زبان بزرگ، که پیشرفت‌های چشمگیری در پردازش زبان طبیعی داشته‌اند، از حقایق آگاه هستند یا خیر. این مدل‌ها، دانش واقعیتی را در طول آموزش و تنظیم دقیق کسب می‌کنند و این دانش در وظایفی مانند پاسخ به سوالات و تولید متن بسیار مفید است. برخلاف پایگاه‌های دانش سنتی، مدل‌های زبان بزرگ به طور ضمنی حقایق را در پارامترهای خود ذخیره می‌کنند. با این حال، محتوای تولید شده توسط این مدل‌ها ممکن است به دلیل القای نادرست یا منسوخ شدن حقایق، دارای عدم دقت یا انحراف از حقیقت باشد. به همین دلیل، هدف این مقاله، ارزیابی جامع میزان و گستره دانش واقعیتی در مدل‌های زبان بزرگ با طراحی مجموعه‌داده‌ی Pinocchio است. Pinocchio شامل ۲۰ هزار سوال واقعی متنوع است که منابع، بازه‌های زمانی، حوزه‌ها، مناطق و زبان‌های مختلف را پوشش می‌دهد. این تحقیق همچنین بررسی می‌کند که آیا مدل‌های زبان بزرگ قادر به ترکیب حقایق متعدد، به‌روزرسانی دانش واقعیتی به صورت زمانی، استدلال بر اساس چند حقیقت، تشخیص تفاوت‌های ظریف واقعیتی و مقاومت در برابر مثال‌های خصمانه هستند یا خیر. آزمایش‌های گسترده بر روی اندازه‌ها و انواع مختلف مدل‌های زبان بزرگ نشان می‌دهد که مدل‌های فعلی هنوز فاقد دانش واقعیتی کافی هستند و از همبستگی‌های ساختگی مختلف رنج می‌برند. نویسندگان بر این باورند که این یک گلوگاه حیاتی برای تحقق هوش مصنوعی قابل اعتماد است. مجموعه‌داده‌ی Pinocchio و کدهای مربوطه به صورت عمومی در دسترس خواهند بود.

به طور خلاصه، این مقاله به دنبال پاسخ به این سوال اساسی است که آیا مدل‌های زبان بزرگ واقعاً “می‌دانند” یا خیر؟ و اگر پاسخ مثبت است، میزان و کیفیت این دانش چقدر است؟ این تحقیق از طریق ایجاد یک مجموعه‌داده‌ی جامع و متنوع، به ارزیابی توانایی‌های این مدل‌ها در زمینه‌ی درک، به‌روزرسانی و استدلال بر اساس حقایق می‌پردازد.

روش‌شناسی این تحقیق بر پایه‌ی ایجاد و استفاده از یک مجموعه‌داده‌ی جدید و جامع به نام Pinocchio است. این مجموعه‌داده شامل ۲۰ هزار سوال واقعی متنوع است که از منابع، بازه‌های زمانی، حوزه‌ها، مناطق و زبان‌های مختلف جمع‌آوری شده‌اند. تنوع بالای این مجموعه‌داده، امکان ارزیابی دقیق‌تر و جامع‌تری از توانایی‌های مدل‌های زبان بزرگ در زمینه‌ی دانش واقعیتی را فراهم می‌کند.

علاوه بر این، محققان در این مقاله، به بررسی توانایی‌های خاص مدل‌های زبان بزرگ در زمینه‌ی دانش واقعیتی پرداخته‌اند. این توانایی‌ها شامل:

• ترکیب حقایق متعدد: آیا مدل می‌تواند دو یا چند حقیقت را با هم ترکیب کرده و به یک نتیجه‌گیری جدید برسد؟ به عنوان مثال، اگر مدل بداند که “فلان شخص در فلان شهر متولد شده است” و “فلان شهر پایتخت فلان کشور است”، آیا می‌تواند نتیجه بگیرد که “فلان شخص در پایتخت فلان کشور متولد شده است”؟
• به‌روزرسانی دانش واقعیتی به صورت زمانی: آیا مدل می‌تواند اطلاعات قدیمی را با اطلاعات جدید جایگزین کند؟ به عنوان مثال، اگر در ابتدا مدل بداند که “رئیس‌جمهور فلان کشور، فلان شخص است” و سپس این مقام تغییر کند، آیا مدل می‌تواند اطلاعات خود را به‌روز کند؟
• استدلال بر اساس چند حقیقت: آیا مدل می‌تواند با استفاده از چند حقیقت به یک پاسخ صحیح برسد؟ این مورد مشابه ترکیب حقایق است، اما بر روی استدلال و نتیجه‌گیری تمرکز دارد.
• تشخیص تفاوت‌های ظریف واقعیتی: آیا مدل می‌تواند تفاوت‌های جزئی بین حقایق مشابه را تشخیص دهد؟ به عنوان مثال، آیا مدل می‌تواند تفاوت بین “تهران پایتخت ایران است” و “تهران بزرگترین شهر ایران است” را تشخیص دهد؟
• مقاومت در برابر مثال‌های خصمانه: آیا مدل در برابر اطلاعات نادرست و گمراه‌کننده مقاوم است؟ مثال‌های خصمانه، نمونه‌هایی هستند که به طور خاص برای فریب دادن مدل‌ها طراحی شده‌اند.

برای ارزیابی این توانایی‌ها، محققان آزمایش‌های گسترده‌ای بر روی اندازه‌ها و انواع مختلف مدل‌های زبان بزرگ انجام داده‌اند.

نتایج این تحقیق نشان می‌دهد که مدل‌های زبان بزرگ فعلی، همچنان فاقد دانش واقعیتی کافی هستند و از همبستگی‌های ساختگی مختلف رنج می‌برند. به عبارت دیگر، این مدل‌ها اغلب به جای درک واقعی حقایق، به دنبال الگوها و ارتباطات سطحی در داده‌های آموزشی خود هستند. این امر می‌تواند منجر به تولید پاسخ‌های نادرست و غیرقابل اعتماد شود.

یافته‌های کلیدی این تحقیق عبارتند از:

• مدل‌های زبان بزرگ در درک و به‌روزرسانی دانش واقعیتی با مشکل مواجه هستند. این مدل‌ها اغلب در تشخیص اطلاعات قدیمی از اطلاعات جدید و به‌روزرسانی دانش خود با چالش روبرو می‌شوند.
• مدل‌های زبان بزرگ مستعد همبستگی‌های ساختگی هستند. این بدان معناست که آن‌ها ممکن است بر اساس ارتباطات تصادفی در داده‌های آموزشی، به نتایج نادرستی برسند. برای مثال، اگر در داده‌های آموزشی، بیشتر سوالات مربوط به یک موضوع خاص با یک پاسخ خاص همراه باشند، مدل ممکن است به اشتباه نتیجه بگیرد که هر سوالی در مورد آن موضوع، پاسخ مشابهی دارد.
• عملکرد مدل‌های زبان بزرگ در زمینه‌ی دانش واقعیتی، به شدت وابسته به کیفیت و تنوع داده‌های آموزشی است. اگر داده‌های آموزشی فاقد کیفیت یا تنوع کافی باشند، مدل‌ها نمی‌توانند دانش واقعیتی دقیقی کسب کنند.
• حتی بزرگترین مدل‌های زبان بزرگ نیز در زمینه‌ی دانش واقعیتی، محدودیت‌هایی دارند. افزایش اندازه مدل، لزوماً به معنای افزایش دانش واقعیتی آن نیست.

به عنوان مثال، تصور کنید از یک مدل زبان بزرگ بپرسید: “چه کسی برنده جایزه نوبل فیزیک در سال ۲۰۲۳ شد؟” ممکن است مدل، پاسخی قدیمی یا نادرست ارائه دهد، زیرا دانش آن به‌روز نشده است. یا ممکن است مدل، به دلیل وجود همبستگی‌های ساختگی در داده‌های آموزشی، پاسخی را ارائه دهد که بر اساس الگوهای سطحی است و نه درک واقعی از موضوع.

دستاورد اصلی این مقاله، ایجاد مجموعه‌داده‌ی Pinocchio است که می‌تواند به عنوان یک معیار استاندارد برای ارزیابی دانش واقعیتی مدل‌های زبان بزرگ مورد استفاده قرار گیرد. این مجموعه‌داده، به محققان کمک می‌کند تا نقاط قوت و ضعف مدل‌های خود را در زمینه‌ی دانش واقعیتی شناسایی کرده و در جهت بهبود آن‌ها تلاش کنند.

علاوه بر این، یافته‌های این تحقیق می‌تواند در توسعه‌ی سیستم‌های هوش مصنوعی قابل اعتمادتر و مبتنی بر واقعیت، کاربرد داشته باشد. با درک بهتر چالش‌های موجود در زمینه‌ی دانش واقعیتی مدل‌های زبان بزرگ، می‌توان روش‌های جدیدی برای آموزش و ارزیابی این مدل‌ها طراحی کرد که منجر به تولید پاسخ‌های دقیق‌تر و قابل اعتمادتر شود.

به طور خاص، این تحقیق می‌تواند در زمینه‌های زیر کاربرد داشته باشد:

• توسعه‌ی سیستم‌های پاسخ به سوالات دقیق‌تر: با بهبود دانش واقعیتی مدل‌های زبان بزرگ، می‌توان سیستم‌هایی را ایجاد کرد که به سوالات کاربران با دقت بیشتری پاسخ دهند.
• ایجاد سیستم‌های تولید متن قابل اعتمادتر: با کاهش احتمال تولید اطلاعات نادرست توسط مدل‌های زبان بزرگ، می‌توان سیستم‌هایی را ایجاد کرد که متون قابل اعتمادتر و دقیق‌تری تولید کنند.
• بهبود سیستم‌های جستجوی اطلاعات: با استفاده از دانش واقعیتی مدل‌های زبان بزرگ، می‌توان سیستم‌های جستجویی را ایجاد کرد که اطلاعات مرتبط‌تر و دقیق‌تری را به کاربران ارائه دهند.
• کشف اطلاعات جدید: با تحلیل داده‌ها توسط مدل‌های زبان بزرگ، می‌توان الگوها و ارتباطات جدیدی را کشف کرد که می‌تواند منجر به پیشرفت‌های علمی و فناوری شود.

مقاله “آیا مدل‌های زبان بزرگ از حقایق آگاه‌اند؟” یک گام مهم در راستای درک بهتر توانایی‌ها و محدودیت‌های این مدل‌ها در زمینه‌ی دانش واقعیتی است. این تحقیق نشان می‌دهد که علی‌رغم پیشرفت‌های چشمگیر مدل‌های زبان بزرگ در سال‌های اخیر، این مدل‌ها هنوز فاقد دانش واقعیتی کافی هستند و از همبستگی‌های ساختگی مختلف رنج می‌برند. ایجاد مجموعه‌داده‌ی Pinocchio، یک منبع ارزشمند برای محققان است تا بتوانند دانش واقعیتی مدل‌های خود را به طور دقیق ارزیابی کرده و در جهت بهبود آن‌ها تلاش کنند. این تحقیق، اهمیت توسعه‌ی روش‌های جدید برای آموزش و ارزیابی مدل‌های زبان بزرگ را برجسته می‌کند تا بتوان سیستم‌های هوش مصنوعی قابل اعتمادتر و مبتنی بر واقعیت ایجاد کرد. در نهایت، نویسندگان امیدوارند که یافته‌های این تحقیق، گامی در جهت تحقق هوش مصنوعی قابل اعتماد و مفید برای جامعه باشد. چالش‌های موجود در این زمینه، نیازمند توجه و تلاش مستمر محققان در سراسر جهان است.