در دنیای امروز که حجم اطلاعات به‌صورت تصاعدی در حال افزایش است، سیستم‌های هوش مصنوعی که قادر به خلاصه‌سازی متون هستند، به ابزاری حیاتی برای درک سریع و کارآمد محتوا تبدیل شده‌اند. با این حال، یکی از بزرگترین چالش‌های پیش روی این سیستم‌ها، پدیده‌ای به نام «توهم» (Hallucination) است. این پدیده زمانی رخ می‌دهد که مدل زبانی، اطلاعاتی را در خلاصه تولید می‌کند که در متن اصلی وجود ندارد. این اطلاعات نادرست، که اغلب از دانش عمومی و پراکنده مدل نشأت می‌گیرند، می‌توانند اعتبار و اطمینان‌پذیری خلاصه‌های ماشینی را به شدت تضعیف کنند.

مقاله “MiRANews: Dataset and Benchmarks for Multi-Resource-Assisted News Summarization” پاسخی نوآورانه و مؤثر به این چالش ارائه می‌دهد. این تحقیق، به‌جای تکیه بر یک سند واحد برای خلاصه‌سازی، رویکردی جدید به نام «خلاصه‌سازی با پشتیبانی چندمنبعی» را معرفی می‌کند. در این روش، علاوه بر سند اصلی، از چندین سند کمکی و مکمل برای غنی‌سازی محتوا و اطمینان از صحت واقعیت‌های ذکرشده در خلاصه استفاده می‌شود. اهمیت این مقاله در ارائه یک راهکار عملی برای کاهش توهم و افزایش دقت واقعی (Factual Accuracy) در خلاصه‌سازی اخبار نهفته است؛ امری که در عصر مبارزه با اطلاعات نادرست، اهمیتی دوچندان دارد.

این مقاله حاصل همکاری گروهی از پژوهشگران برجسته در حوزه پردازش زبان طبیعی (NLP) و یادگیری ماشین است: Xinnuo Xu, Ondřej Dušek, Shashi Narayan, Verena Rieser, و Ioannis Konstas. این محققان با سوابق درخشان در مؤسسات آکادمیک و شرکت‌های فناوری پیشرو، دانش خود را برای حل یکی از مشکلات اساسی در تولید زبان طبیعی به کار گرفته‌اند.

این پژوهش در زیرشاخه‌ای از علم «محاسبات و زبان» (Computation and Language) قرار می‌گیرد و بر روی وظیفه «خلاصه‌سازی متن» (Text Summarization) متمرکز است. به‌طور سنتی، این وظیفه به دو دسته اصلی تقسیم می‌شود: خلاصه‌سازی تک‌سندی (Single-Document Summarization) و خلاصه‌سازی چندسندی (Multi-Document Summarization). مقاله MiRANews یک پارادایم میانی و جدید را معرفی می‌کند که هدف آن خلاصه‌سازی یک سند اصلی است، اما با بهره‌گیری از اسناد مرتبط دیگر برای بهبود کیفیت و دقت. این رویکرد، مرزهای موجود را جابجا کرده و راه‌حلی متناسب با نیازهای دنیای واقعی ارائه می‌دهد.

چالش اصلی در خلاصه‌سازی اخبار تک‌سندی، بروز «توهمات بیرونی» (Extrinsic Hallucinations) است؛ یعنی حقایقی که در سند منبع وجود ندارند اما در خلاصه ظاهر می‌شوند. این امر باعث می‌شود سیستم‌های خلاصه‌ساز، بیشتر شبیه مدل‌های زبانی پاسخ-آزاد عمل کنند که مستعد تولید اطلاعات نادرست هستند.

این مقاله برای کاهش این مشکل، از چندین سند کمکی مکمل بهره می‌برد. نویسندگان یک دادگان (Dataset) جدید به نام MiRANews را معرفی کرده و مدل‌های خلاصه‌سازی موجود را بر روی آن محک می‌زنند. برخلاف خلاصه‌سازی چندسندی که به چندین رویداد از منابع مختلف می‌پردازد، هدف MiRANews همچنان تولید خلاصه‌ای برای یک سند واحد است. تحلیل داده‌ها نشان می‌دهد که مشکل فقط از مدل‌ها نیست: بیش از ۲۷٪ از حقایق ذکرشده در خلاصه‌های مرجع (Gold Summaries) در دادگان MiRANews، به جای آنکه در مقاله اصلی باشند، در اسناد کمکی ریشه دارند. این یافته نشان می‌دهد که حتی انسان‌ها برای نوشتن یک خلاصه جامع به منابع خارجی نیاز دارند.

تحلیل خطای خلاصه‌های تولیدشده توسط مدل‌های از پیش‌آموزش‌دیده که بر روی MiRANews تنظیم دقیق (Fine-tune) شده‌اند، تأثیر شگرف این رویکرد را آشکار می‌سازد: خلاصه‌سازی با پشتیبانی منابع کمکی، میزان توهمات را تا ۵۵٪ کاهش می‌دهد در مقایسه با مدل‌هایی که تنها بر روی مقاله اصلی آموزش دیده‌اند.

روش‌شناسی این پژوهش بر دو ستون اصلی استوار است: ساخت دادگان و ارزیابی مدل‌ها.

• ساخت دادگان MiRANews: این فرآیند شامل چندین مرحله دقیق بود. ابتدا، یک مقاله خبری به عنوان «سند اصلی» انتخاب می‌شد. سپس، با استفاده از موتورهای جستجو و الگوریتم‌های بازیابی اطلاعات، مجموعه‌ای از اسناد مرتبط و مکمل (مانند گزارش‌های خبری دیگر، بیانیه‌های مطبوعاتی، یا مقالات پیش‌زمینه) به عنوان «اسناد کمکی» جمع‌آوری می‌شدند. در مرحله نهایی، از نویسندگان انسانی خواسته شد تا برای سند اصلی یک خلاصه بنویسند، با این تفاوت که به آنها اجازه داده می‌شد تا از اطلاعات موجود در اسناد کمکی برای ارائه یک خلاصه دقیق‌تر و جامع‌تر استفاده کنند. این رویکرد نوآورانه منجر به تولید دادگانی شد که ماهیت نیازمندی به اطلاعات خارجی را در خود منعکس می‌کند.
• محک‌زنی و ارزیابی مدل‌ها: محققان مدل‌های زبانی پیشرفته موجود را در دو سناریو مختلف آزمایش کردند:
  1. سناریوی پایه (تک‌سندی): مدل فقط با دسترسی به سند اصلی، وظیفه خلاصه‌سازی را انجام می‌داد.
  2. سناریوی پیشنهادی (چندمنبعی): مدل علاوه بر سند اصلی، به مجموعه‌ای از اسناد کمکی نیز دسترسی داشت تا خلاصه‌ای دقیق‌تر برای سند اصلی تولید کند.

  سپس، خروجی‌های هر دو سناریو با خلاصه‌های مرجع انسانی مقایسه شد. ارزیابی نه‌تنها با معیارهای استاندارد مانند ROUGE انجام گرفت، بلکه شامل تحلیل دقیق خطای انسانی برای شناسایی و شمارش موارد «توهم» بود تا تأثیر مستقیم رویکرد جدید بر کاهش اطلاعات نادرست سنجیده شود.

این پژوهش به دو یافته بسیار مهم و تأثیرگذار دست یافت که درک ما از چالش‌های خلاصه‌سازی را تغییر می‌دهد:

• وابستگی ذاتی خلاصه‌های باکیفیت به منابع خارجی: تحلیل دادگان MiRANews نشان داد که بیش از ۲۷ درصد از اطلاعات موجود در خلاصه‌های نوشته‌شده توسط انسان، در مقاله اصلی یافت نمی‌شوند و منبع آنها اسناد کمکی است. این آمار تکان‌دهنده ثابت می‌کند که مشکل «توهم» صرفاً یک ضعف مدل‌های هوش مصنوعی نیست، بلکه ریشه در محدودیت‌های وظیفه خلاصه‌سازی تک‌سندی دارد. انتظار تولید یک خلاصه کامل و دقیق از یک منبع اطلاعاتی محدود، ذاتاً منجر به تولید اطلاعات ناقص یا نادرست می‌شود.
• کاهش چشمگیر توهم با استفاده از اسناد کمکی: مهم‌ترین نتیجه عملی این تحقیق، اثبات کارایی رویکرد پیشنهادی بود. مدل‌هایی که با استفاده از اسناد کمکی آموزش دیده بودند، توانستند تعداد توهمات را در خلاصه‌های تولیدی خود تا ۵۵ درصد کاهش دهند. این کاهش عظیم نشان می‌دهد که با فراهم کردن زمینه (Context) و منابع اطلاعاتی بیشتر برای مدل، می‌توان آن را به سمت تولید محتوای مبتنی بر واقعیت و قابل اتکا هدایت کرد. مدل دیگر مجبور نیست برای پر کردن شکاف‌های اطلاعاتی به «دانش عمومی» غیرقابل اعتماد خود رجوع کند، بلکه از شواهد موجود در اسناد کمکی بهره می‌برد.

مقاله MiRANews دستاوردهای مهمی را برای جامعه علمی و صنعت به ارمغان آورده است:

• معرفی دادگان MiRANews: مهم‌ترین دستاورد این تحقیق، ارائه یک مجموعه داده عمومی و استاندارد برای پژوهش در زمینه خلاصه‌سازی با پشتیبانی منابع خارجی است. این دادگان به محققان دیگر اجازه می‌دهد تا الگوریتم‌های جدیدی را توسعه داده و آنها را بر روی یک بستر مشترک ارزیابی کنند.
• کاربردهای عملی: این رویکرد می‌تواند تأثیر مستقیمی بر بهبود محصولات و خدمات مبتنی بر هوش مصنوعی داشته باشد:
  • خبرخوان‌ها و agregatorهای خبری: پلتفرم‌هایی مانند Google News می‌توانند خلاصه‌های دقیق‌تر و قابل اعتمادتری از رویدادهای روز ارائه دهند.
  • ابزارهای دستیار پژوهشی: به محققان کمک می‌کند تا با خلاصه‌سازی مقالات علمی و ارجاع به منابع ذکر شده، درک سریع و عمیقی از یک موضوع پیدا کنند.
  • تحلیل مالی و تجاری: خلاصه‌سازی گزارش‌های مالی یک شرکت همراه با تحلیل اخبار بازار و بیانیه‌های مطبوعاتی مرتبط، به تصمیم‌گیری بهتر کمک می‌کند.
  • مبارزه با اطلاعات نادرست: با الزام مدل‌ها به استناد به چندین منبع معتبر، می‌توان از تولید و انتشار خلاصه‌هایی که حاوی اطلاعات غلط هستند، جلوگیری کرد.
• ایجاد یک پارادایم جدید: این مقاله، «خلاصه‌سازی با پشتیبانی چندمنبعی» را به عنوان یک وظیفه متمایز و مهم در پردازش زبان طبیعی تثبیت کرد که نیازمند توجه و راهکارهای ویژه خود است.

مقاله MiRANews با تمرکز بر مشکل حیاتی «توهم» در سیستم‌های خلاصه‌ساز، یک گام بزرگ به جلو در جهت ساخت مدل‌های زبانی قابل اعتمادتر و دقیق‌تر برداشته است. این تحقیق نه‌تنها نشان داد که ریشه مشکل عمیق‌تر از ضعف مدل‌هاست و به ماهیت خود وظیفه بازمی‌گردد، بلکه یک راه‌حل عملی و مؤثر نیز ارائه داد. با معرفی دادگان MiRANews و اثبات کاهش ۵۵ درصدی توهمات، نویسندگان مسیری جدید برای آینده پژوهش‌های این حوزه ترسیم کرده‌اند.

این پژوهش تأکید می‌کند که آینده سیستم‌های هوش مصنوعی پیشرفته، نه در تولید متون روان و بی‌نقص، بلکه در تولید اطلاعاتی است که مبتنی بر شواهد، قابل راستی‌آزمایی و قابل اعتماد باشند. در دسترس قرار دادن کد و داده‌های این تحقیق، درهای جدیدی را برای نوآوری‌های بیشتر در زمینه ساخت هوش مصنوعی مسئولیت‌پذیر و دقیق باز می‌کند.