در دنیای واقعی، یک موقعیت واحد می‌تواند به نتایج متعددی منجر شود. اینکه کدام نتیجه رخ می‌دهد، بستگی به جزئیات ظریف و شرایط حاکم بر آن موقعیت دارد. این توانایی درک و پیش‌بینی پیامدهای مختلف بر اساس شرایط متغیر، سنگ بنای استدلال عقل سلیم (Commonsense Reasoning) در انسان است. با این حال، سیستم‌های هوش مصنوعی، به‌ویژه مدل‌های زبانی بزرگ، اغلب در درک این پیچیدگی‌ها با چالش مواجه هستند. آن‌ها معمولاً برای یافتن یک پاسخ «صحیح» و قطعی آموزش دیده‌اند و در مواجهه با ابهام و احتمالات متعدد، عملکرد ضعیفی از خود نشان می‌دهند.

مقاله «داستان‌های محتمل» به طور مستقیم این شکاف را هدف قرار می‌دهد. این پژوهش یک وظیفه و مجموعه داده جدید را معرفی می‌کند که به طور خاص برای ارزیابی توانایی مدل‌های هوش مصنوعی در استدلال پیرامون سناریوهای ممکن متعدد طراحی شده است. اهمیت این کار در آن است که معیارهای ارزیابی هوش مصنوعی را از پرسش و پاسخ‌های ساده و تک‌بعدی فراتر برده و به سمت سنجش درک عمیق‌تر، موقعیتی و مبتنی بر زمینه سوق می‌دهد. این مقاله نشان می‌دهد که حتی پیشرفته‌ترین مدل‌های زبانی امروزی نیز تا رسیدن به سطح استدلال انسانی در این زمینه فاصله زیادی دارند و به این ترتیب، مسیر تحقیقات آینده را برای ساختن سیستم‌های هوشمندتر و منعطف‌تر روشن می‌کند.

این مقاله توسط مانا آشیدا (Mana Ashida) و ساکو سوگاوارا (Saku Sugawara)، پژوهشگران برجسته در زمینه پردازش زبان طبیعی و هوش مصنوعی از مؤسسه ملی انفورماتیک ژاپن، به نگارش درآمده است. این پژوهش در حوزه وسیع‌تر «درک زبان طبیعی» (NLU) و به طور خاص، در شاخه‌ای چالش‌برانگیز به نام «استدلال عقل سلیم» قرار می‌گیرد.

در سال‌های اخیر، مدل‌های زبانی پیش‌آموزش‌دیده (Pretrained Language Models) مانند BERT و GPT به موفقیت‌های چشمگیری در وظایف مختلف پردازش زبان دست یافته‌اند. با این حال، بسیاری از این موفقیت‌ها متکی بر تطبیق الگوهای آماری در داده‌های عظیم بوده‌اند، نه درک واقعی جهان. زمینه تحقیقاتی این مقاله بر این فرض استوار است که گام بعدی در تکامل هوش مصنوعی، تجهیز آن به توانایی استدلال شبیه به انسان است؛ یعنی درک روابط علت و معلولی، پیش‌بینی پیامدها و مهم‌تر از همه، فهم اینکه چگونه تغییرات کوچک در یک موقعیت می‌تواند منجر به نتایج کاملاً متفاوتی شود. این پژوهش بر پایه کارهای قبلی در زمینه استدلال روایی، استدلال خلاف واقع (Counterfactual Reasoning) و درک داستان بنا شده است.

پیامدها و نتایج ممکن برای یک زمینه داستانی یکسان، بسته به شرایط و موقعیتی که به آن ارجاع می‌دهیم، می‌تواند بسیار متفاوت باشد. با این وجود، مطالعات فعلی در پردازش زبان طبیعی بر روی استدلال عقل سلیم در چارچوب سناریوهای ممکن متعدد تمرکز نکرده‌اند. این مقاله این وظیفه را با طرح پرسش‌های چندگانه از یک متن داستانی کوتاه چارچوب‌بندی می‌کند، به طوری که مجموعه‌ای یکسان از پایان‌های ممکن به عنوان گزینه‌های پاسخ برای تمام آن پرسش‌ها ارائه می‌شود.

مجموعه داده حاصل، Possible Stories، شامل بیش از ۴۵۰۰ پرسش برای ۱۳۰۰ متن داستانی به زبان انگلیسی است. تحلیل‌ها نشان می‌دهد که حتی قوی‌ترین مدل‌های زبانی پیش‌آموزش‌دیده نیز در پاسخ‌دهی منسجم به این پرسش‌ها دچار مشکل هستند. بالاترین دقت کسب‌شده توسط مدل‌ها در یک تنظیم بدون نظارت (Unsupervised) تنها ۶۰.۲٪ است که فاصله بسیار زیادی با دقت انسان (۹۲.۵٪) دارد. این مقاله همچنین نشان می‌دهد که مجموعه داده مذکور دارای حداقل «آثار مصنوعی حاشیه‌نویسی» (Annotation Artifacts) در گزینه‌های پاسخ است، به این معنی که مدل‌ها نمی‌توانند با تقلب و صرفاً با بررسی گزینه‌ها به پاسخ صحیح برسند. علاوه بر این، این مجموعه داده شامل مثال‌هایی است که نیازمند استدلال خلاف واقع، درک واکنش‌های خواننده و اطلاعات تخیلی است، که آن را به یک بستر آزمایشی چالش‌برانگیز برای مطالعات آینده در زمینه استدلال عقل سلیم موقعیتی تبدیل می‌کند.

نوآوری اصلی این مقاله در طراحی وظیفه و روش ساخت مجموعه داده آن نهفته است. این فرآیند در چند مرحله کلیدی انجام شده است:

• ایجاد داستان‌های پایه: ابتدا، مجموعه‌ای از داستان‌های کوتاه و خنثی (حدود ۱۳۰۰ داستان) به عنوان زمینه اصلی ایجاد شدند. این داستان‌ها یک موقعیت اولیه را توصیف می‌کنند اما به یک نتیجه قطعی ختم نمی‌شوند.
• فرموله‌بندی وظیفه: برای هر داستان، یک مجموعه ثابت از «پایان‌های ممکن» (Possible Endings) در نظر گرفته می‌شود. نکته کلیدی اینجاست که به جای یک سؤال، چندین سؤال متفاوت درباره داستان پرسیده می‌شود. هر سؤال، یک شرط یا موقعیت خاص را به داستان اضافه می‌کند و از مدل می‌خواهد که محتمل‌ترین پایان را از میان گزینه‌های یکسان انتخاب کند.
• طراحی پرسش‌های موقعیتی: پرسش‌ها به گونه‌ای طراحی شده‌اند که تمرکز را از خود داستان به «شرایط» منتقل کنند. این پرسش‌ها انواع مختلفی از استدلال را پوشش می‌دهند:
  • استدلال مبتنی بر علت و معلول: “اگر شخصیت داستان خسته بود، چه اتفاقی می‌افتاد؟”
  • استدلال خلاف واقع: “چه می‌شد اگر شخصیت به جای تلفن، کتاب را برمی‌داشت؟”
  • درک نیت و احساسات: “اگر هدف شخصیت انتقام بود، کدام پایان محتمل‌تر بود؟”

برای روشن‌تر شدن موضوع، این مثال را در نظر بگیرید:

داستان پایه: «علی وارد اتاق شد و به سمت میز رفت. روی میز یک گلدان شیشه‌ای قرار داشت.»

مجموعه پایان‌های ممکن (برای همه سؤالات یکسان است):

1. الف) گلدان از روی میز افتاد و شکست.
2. ب) علی گلدان را برداشت و در آن آب ریخت.
3. ج) او بدون توجه به گلدان از کنار میز رد شد.

سؤال ۱: «اگر علی با عجله و حواس‌پرتی وارد اتاق می‌شد، محتمل‌ترین اتفاق چه بود؟»
پاسخ صحیح: الف

سؤال ۲: «اگر علی عاشق گل و گیاه بود، محتمل‌ترین اتفاق چه بود؟»
پاسخ صحیح: ب

این ساختار مدل را وادار می‌کند تا صرفاً یک پایان «باورپذیر» را انتخاب نکند، بلکه ارتباط بین شرط مطرح‌شده در سؤال و نتیجه آن را عمیقاً درک کند.

تحلیل نتایج به دست آمده از ارزیابی مدل‌های مختلف بر روی مجموعه داده Possible Stories، یافته‌های مهمی را آشکار ساخت:

• شکاف عمیق بین عملکرد مدل و انسان: مهم‌ترین یافته، اختلاف فاحش بین بهترین مدل‌های هوش مصنوعی و انسان است. در حالی که انسان‌ها با دقت ۹۲.۵٪ به سؤالات پاسخ دادند، بهترین مدل‌ها در دشوارترین حالت (بدون هیچ‌گونه داده آموزشی خاص برای این وظیفه) تنها به دقت ۶۰.۲٪ دست یافتند. این شکاف ۳۲ درصدی نشان می‌دهد که درک موقعیتی و استدلال مبتنی بر سناریوهای ممکن، همچنان یک پاشنه آشیل برای هوش مصنوعی است.
• ناتوانی در استدلال منسجم: مدل‌ها اغلب در پاسخ‌دهی به سؤالات مرتبط با یک داستان، ثبات و انسجام نداشتند. برای مثال، ممکن بود یک مدل به دو سؤال بسیار مشابه که تنها یک کلمه تفاوت داشتند، پاسخ‌های کاملاً متناقضی بدهد. این نشان می‌دهد که درک آن‌ها سطحی است و مبتنی بر یک مدل ذهنی پایدار از داستان نیست.
• مقاومت در برابر آثار مصنوعی: این پژوهش تأیید می‌کند که مجموعه داده Possible Stories به دلیل طراحی منحصربه‌فرد خود (استفاده از گزینه‌های پاسخ یکسان برای سؤالات متعدد) عاری از سرنخ‌های سطحی است. مدل‌ها نمی‌توانند با یادگیری الگوهای آماری موجود در گزینه‌ها تقلب کنند و مجبورند به محتوای سؤال و داستان توجه کنند.
• نیاز به انواع استدلال پیچیده: این مجموعه داده با گنجاندن سؤالاتی که نیازمند استدلال خلاف واقع، درک دیدگاه شخصیت‌ها و حتی درک اطلاعات تخیلی هستند، ثابت می‌کند که استدلال عقل سلیم یک مهارت تک‌بعدی نیست و ابعاد گوناگونی دارد که مدل‌های فعلی در پوشش آن‌ها ناتوان‌اند.

مقاله «داستان‌های محتمل» فراتر از یک تحلیل صرف، دستاوردهای عملی و کاربردی مهمی را برای آینده هوش مصنوعی به ارمغان می‌آورد:

• یک معیار ارزیابی جدید و قدرتمند: اصلی‌ترین دستاورد این پژوهش، ارائه مجموعه داده Possible Stories به عنوان یک ابزار استاندارد و چالش‌برانگیز برای سنجش نسل بعدی مدل‌های زبانی است. این معیار، محققان را تشویق می‌کند تا مدل‌هایی با قابلیت درک عمیق‌تر و منعطف‌تر توسعه دهند.
• پیشرفت در سیستم‌های روایی هوشمند: مدل‌هایی که بتوانند در این وظیفه موفق عمل کنند، کاربردهای گسترده‌ای در زمینه تولید خودکار داستان، ایجاد شخصیت‌های غیرقابل‌بازی (NPC) هوشمندتر در بازی‌های ویدیویی و توسعه سیستم‌های سرگرمی تعاملی خواهند داشت.
• بهبود دستیارهای هوشمند و سیستم‌های پشتیبان تصمیم: یک دستیار هوشمند که بتواند پیامدهای مختلف یک تصمیم را بر اساس شرایط متغیر پیش‌بینی کند (مثلاً «اگر این ایمیل را با لحن رسمی بفرستم چه می‌شود؟ اگر با لحن غیررسمی بفرستم چطور؟») بسیار کارآمدتر خواهد بود.
• ابزارهای آموزشی و خلاقیت: این فناوری می‌تواند در ساخت ابزارهایی برای آموزش نویسندگی خلاق به کار رود، به طوری که سیستم بتواند به نویسنده در مورد مسیرهای داستانی مختلف و پیامدهای هرکدام بازخورد دهد.

مقاله «داستان‌های محتمل: ارزیابی استدلال عقل سلیم موقعیتی در سناریوهای متعدد ممکن» یک گام مهم و رو به جلو در تلاش برای ساختن هوش مصنوعی با درک شبیه به انسان است. این پژوهش با هوشمندی نشان می‌دهد که درک واقعی، تنها به معنای یافتن یک پاسخ صحیح نیست، بلکه به معنای توانایی تفکر درباره مجموعه‌ای از احتمالات و انتخاب محتمل‌ترین آن‌ها بر اساس شرایط متغیر است.

با معرفی مجموعه داده Possible Stories، نویسندگان نه تنها ضعف‌های مدل‌های کنونی را آشکار ساختند، بلکه یک نقشه راه برای آینده تحقیقات در این حوزه ترسیم کردند. چالش اصلی پیش رو، توسعه معماری‌ها و الگوریتم‌های جدیدی است که بتوانند از تطبیق الگوهای سطحی فراتر رفته و مدل‌های ذهنی پویا و زمینه‌محور از جهان بسازند. این مقاله به ما یادآوری می‌کند که مسیر رسیدن به هوش مصنوعی عمومی (AGI) همچنان طولانی است و این مسیر از دل حل چالش‌های بنیادینی مانند استدلال عقل سلیم موقعیتی می‌گذرد.