در عصر دیجیتال، اطلاعات به سرعت در حال گسترش است و همزمان با آن، پدیده «اطلاعات نادرست» یا Misinformation به یک چالش جهانی تبدیل شده است. در حالی که جامعه علمی، به‌ویژه در حوزه پردازش زبان طبیعی، تلاش‌های گسترده‌ای برای راستی‌آزمایی خودکار متون انجام داده است، یک جنبه حیاتی و رو به رشد از این پدیده کمتر مورد توجه قرار گرفته است: اطلاعات نادرست بصری، به خصوص از طریق نمودارها و گراف‌ها.

نمودارها ابزارهایی قدرتمند برای خلاصه‌سازی و انتقال داده‌های پیچیده هستند. ظاهر علمی و داده‌محور آنها باعث می‌شود که مخاطبان به سادگی به اطلاعات ارائه شده اعتماد کنند. با این حال، همین ویژگی می‌تواند به راحتی مورد سوءاستفاده قرار گیرد تا با ارائه تفاسیر نادرست، اغراق‌آمیز یا کاملاً جعلی از داده‌ها، افکار عمومی را به سمت اهداف خاصی هدایت کند. اینجاست که اهمیت مقاله ChartCheck آشکار می‌شود. این پژوهش پیشگام، مستقیماً به سراغ این خلأ تحقیقاتی رفته و اولین گام بزرگ را برای مبارزه با اطلاعات نادرست مبتنی بر نمودار برداشته است. اهمیت این کار در ارائه یک مجموعه داده عظیم و تفسیرپذیر برای آموزش و ارزیابی مدل‌های هوش مصنوعی است که قادر به درک، استدلال و راستی‌آزمایی ادعاهای مطرح شده درباره نمودارها باشند.

این مقاله حاصل همکاری تیمی از پژوهشگران برجسته در حوزه‌های مختلف هوش مصنوعی است: مبشره اختر، نیکش سوبدی، ویوک گوپتا، سحر طهماسبی، اوآنا کوکاراسکو و النا سیمپرل. تخصص متنوع این تیم، امکان پرداختن به این مسئله پیچیده چندوجهی را فراهم کرده است.

زمینه این تحقیق در تقاطع سه حوزه کلیدی هوش مصنوعی قرار دارد:

• پردازش زبان طبیعی (NLP): برای درک و تحلیل ادعاهای متنی که در مورد نمودارها مطرح می‌شود.
• بینایی کامپیوتر (Computer Vision): برای استخراج اطلاعات بصری از تصاویر نمودارها، از جمله خواندن محورها، درک ستون‌ها و خطوط و شناسایی مقادیر.
• راستی‌آزمایی خودکار (Automated Fact-Checking): به عنوان هدف نهایی، یعنی توسعه سیستم‌هایی که بتوانند به طور خودکار صحت یک ادعا را بر اساس شواهد موجود (در اینجا، نمودار) تعیین کنند.

مقاله ChartCheck با ترکیب این سه حوزه، یک چارچوب جامع برای مسئله‌ای نوظهور و بسیار کاربردی ارائه می‌دهد و راه را برای تحقیقات آتی در این زمینه هموار می‌سازد.

پژوهشگران در این مقاله به این موضوع می‌پردازند که چگونه می‌توان ادعاهای متنی را در برابر داده‌های بصری ارائه شده در نمودارها راستی‌آزمایی کرد. آنها استدلال می‌کنند که با وجود پیشرفت‌های چشمگیر در زمینه راستی‌آزمایی متون، حوزه بررسی صحت اطلاعات در نمودارها مغفول مانده است. برای حل این مشکل، آنها مجموعه داده‌ای جدید، بزرگ و کاملاً تفسیرپذیر به نام ChartCheck را معرفی می‌کنند.

این مجموعه داده شامل بیش از ۱۷۰۰ نمودار واقعی (مانند نمودارهای میله‌ای، خطی و دایره‌ای) است که از منابع معتبر علمی و گزارش‌های واقعی استخراج شده‌اند. به ازای هر نمودار، نزدیک به ۱۰٬۵۰۰ ادعای متنی توسط انسان‌ها نوشته شده است. این ادعاها به سه دسته تقسیم می‌شوند: ادعاهایی که توسط نمودار تأیید می‌شوند، ادعاهایی که توسط نمودار رد می‌شوند و ادعاهایی که با اطلاعات موجود در نمودار قابل بررسی نیستند. مهم‌ترین ویژگی این مجموعه داده، وجود یک «توضیح» به زبان طبیعی برای هر ادعاست که دلیل تأیید یا رد آن را تشریح می‌کند. این ویژگی «تفسیرپذیری» به مدل‌های هوش مصنوعی کمک می‌کند تا نه تنها پاسخ صحیح را پیدا کنند، بلکه «چرا»ی آن را نیز بیاموزند.

فرایند ساخت و ارزیابی مجموعه داده ChartCheck با دقت و به صورت نظام‌مند انجام شده است. مراحل اصلی روش‌شناسی این تحقیق به شرح زیر است:

۱. جمع‌آوری و پردازش نمودارها:

محققان نمودارهای خود را از منابع واقعی و متنوعی مانند مقالات علمی، گزارش‌های دولتی و وب‌سایت‌های خبری معتبر جمع‌آوری کردند. این کار تضمین می‌کند که مدل‌های توسعه‌یافته بر روی داده‌هایی آموزش ببینند که بازتاب‌دهنده چالش‌های دنیای واقعی هستند. نمودارهای رایج مانند میله‌ای، خطی و دایره‌ای در اولویت قرار گرفتند.

۲. تولید ادعا و توضیح با کمک نیروی انسانی:

این بخش، هسته اصلی نوآوری مقاله است. پژوهشگران از طریق پلتفرم‌های «جمع‌سپاری» (Crowdsourcing)، از مشارکت‌کنندگان انسانی خواستند تا برای هر نمودار، سه نوع ادعای مختلف بنویسند:

• ادعای تأیید شده (Supported): جمله‌ای که محتوای آن به وضوح توسط داده‌های نمودار پشتیبانی می‌شود. برای مثال، «در سال ۲۰۱۰، فروش محصول A بیشتر از محصول B بوده است.»
• ادعای رد شده (Refuted): جمله‌ای که محتوای آن با داده‌های نمودار در تضاد است. برای مثال، «روند رشد در دهه اخیر همواره صعودی بوده است» (در حالی که نمودار نوساناتی را نشان می‌دهد).
• ادعای با اطلاعات ناکافی (Not Enough Info): جمله‌ای که برای قضاوت در مورد صحت آن، به اطلاعاتی فراتر از آنچه در نمودار وجود دارد، نیاز است.

علاوه بر این، از مشارکت‌کنندگان خواسته شد تا برای هر ادعا یک توضیح متنی بنویسند که استدلال پشت قضاوت آنها را بیان کند. این توضیحات برای توسعه مدل‌های تفسیرپذیر (Explainable AI) بسیار حیاتی هستند.

۳. ارزیابی مدل‌های پایه:

برای سنجش میزان دشواری این وظیفه، نویسندگان عملکرد چندین مدل پیشرفته هوش مصنوعی را بر روی مجموعه داده ChartCheck ارزیابی کردند. آنها از دو رویکرد اصلی استفاده کردند:

• مدل‌های زبان-بینایی (Vision-Language Models): این مدل‌ها، مانند CLIP یا VLT5، قادرند همزمان تصویر (نمودار) و متن (ادعا) را به عنوان ورودی دریافت کرده و ارتباط بین آنها را تحلیل کنند.
• مدل‌های نمودار-به-جدول (Chart-to-Table Models): این رویکرد دو مرحله‌ای است. ابتدا یک مدل بینایی کامپیوتر سعی می‌کند داده‌های عددی نمودار را استخراج کرده و آنها را به یک جدول متنی تبدیل کند. سپس یک مدل پردازش زبان طبیعی، ادعای مورد نظر را بر اساس این جدول استخراجی راستی‌آزمایی می‌کند.

این ارزیابی‌ها یک «خط پایه» (Baseline) برای عملکرد مدل‌ها ایجاد کرد تا تحقیقات آینده بتوانند پیشرفت خود را نسبت به آن بسنجند.

نتایج آزمایش‌ها بسیار روشنگر بود و نشان داد که راستی‌آزمایی نمودارها چالشی بسیار جدی برای مدل‌های هوش مصنوعی فعلی است.

• شکاف عملکردی بزرگ: پیشرفته‌ترین مدل‌های ارزیابی‌شده، عملکردی بسیار ضعیف‌تر از انسان‌ها داشتند. دقت آنها در طبقه‌بندی صحیح ادعاها (تأیید، رد یا ناکافی) به طور قابل توجهی پایین بود. این یافته نشان می‌دهد که این وظیفه نیازمند سطوح بالاتری از استدلال چندوجهی است که مدل‌های کنونی فاقد آن هستند.
• چالش در انواع استدلال: تحلیل خطاها نشان داد که مدل‌ها در انجام استدلال‌های پیچیده با مشکل مواجه‌اند. آنها ممکن است در یافتن یک مقدار خاص از روی نمودار (مثلاً «مقدار فروش در سال ۲۰۱۵ چقدر بود؟») نسبتاً خوب عمل کنند، اما در وظایفی مانند مقایسه چندین نقطه داده، تحلیل روند (مثلاً تشخیص صعودی یا نزولی بودن) و تجمیع داده‌ها (مثلاً محاسبه میانگین) به شدت دچار خطا می‌شوند.
• تأثیر ویژگی‌های بصری: پیچیدگی‌های بصری نمودار نیز بر عملکرد مدل‌ها تأثیر منفی می‌گذارد. نمودارهایی با تعداد زیادی سری داده، راهنماهای (Legend) شلوغ، برچسب‌های متراکم یا طراحی‌های غیر استاندارد، مدل‌ها را به سادگی دچار سردرگمی می‌کنند.
• دشواری تولید توضیح: وظیفه تولید یک توضیح متنی منطقی و دقیق، حتی از طبقه‌بندی صرف نیز دشوارتر بود. توضیحات تولید شده توسط مدل‌ها اغلب کلی، نامربوط یا حتی از نظر واقعی نادرست بودند.

مقاله ChartCheck دستاوردهای مهمی هم از نظر علمی و هم از نظر کاربردی به همراه دارد.

دستاورد اصلی: بزرگ‌ترین دستاورد این تحقیق، ارائه خودِ مجموعه داده ChartCheck است. این مجموعه داده به عنوان یک منبع عمومی و استاندارد، به جامعه پژوهشی هوش مصنوعی اجازه می‌دهد تا مدل‌های جدیدی را برای این وظیفه توسعه داده و به طور عادلانه با یکدیگر مقایسه کنند.

کاربردهای عملی:

• ابزاری برای روزنامه‌نگاران و راستی‌آزمایان: توسعه ابزارهایی بر پایه این تحقیق می‌تواند به خبرنگاران و سازمان‌های راستی‌آزما کمک کند تا به سرعت ادعاهای مطرح شده در گزارش‌ها، مقالات یا شبکه‌های اجتماعی را که با نمودار همراه هستند، بررسی کنند.
• افزایش سواد داده‌ای عمومی: می‌توان افزونه‌های مرورگر یا ابزارهایی ساخت که به کاربران عادی کمک کند تا هنگام مواجهه با یک نمودار، تفاسیر نادرست یا گمراه‌کننده را تشخیص دهند.
• بهبود دستیارهای هوشمند: دستیارهای هوش مصنوعی آینده می‌توانند با استفاده از این فناوری، به سوالات کاربران در مورد نمودارهای موجود در اسناد یا صفحات وب، پاسخ‌های دقیق و قابل اعتمادی بدهند.

این تحقیق با تعریف یک وظیفه جدید و ارائه یک معیار سنجش قوی، مسیری روشن برای پیشرفت‌های آینده در زمینه هوش مصنوعی قابل اعتماد و مسئولیت‌پذیر ترسیم می‌کند.

مقاله ChartCheck به طور موثر توجه جامعه علمی را به یکی از جنبه‌های مغفول‌مانده اما حیاتی مبارزه با اطلاعات نادرست جلب می‌کند: راستی‌آزمایی ادعاها در برابر نمودارهای بصری. این پژوهش نه تنها ابعاد و پیچیدگی این چالش را به خوبی به تصویر می‌کشد، بلکه با ارائه یک مجموعه داده عمومی، بزرگ و تفسیرپذیر، زیرساخت لازم برای حل آن را نیز فراهم می‌کند.

یافته‌های این مقاله نشان می‌دهد که مدل‌های هوش مصنوعی کنونی، با وجود تمام پیشرفت‌هایشان، هنوز راه درازی برای رسیدن به سطح درک و استدلال انسان در تحلیل داده‌های بصری در پیش دارند. ChartCheck به عنوان یک کاتالیزور برای تحقیقات آینده عمل خواهد کرد و پژوهشگران را به سمت توسعه مدل‌های چندوجهی هوشمندتر، دقیق‌تر و مهم‌تر از همه، تفسیرپذیرتر سوق خواهد داد. در نهایت، تلاش‌هایی از این دست برای ساختن یک اکوسیستم اطلاعاتی سالم‌تر و قابل اعتمادتر، که در آن داده‌ها به جای فریب، به روشنگری کمک کنند، ضروری است.