در سال‌های اخیر، مدل‌های هوش مصنوعی، به‌ویژه در حوزه زبان و بینایی ماشین، به پیشرفت‌های چشمگیری دست یافته‌اند. با این حال، یکی از چالش‌های اساسی این مدل‌ها، تمایل آن‌ها به یادگیری «میان‌بُرها» یا همبستگی‌های کاذب (Spurious Correlations) است. به عبارت دیگر، مدل‌ها به جای درک عمیق مفاهیم، الگوهای سطحی موجود در داده‌های آموزشی را حفظ می‌کنند. برای مثال، اگر یک مدل در داده‌های آموزشی خود همواره تصاویر اسکی‌بازان را در محیط‌های برفی ببیند، ممکن است به اشتباه نتیجه بگیرد که کلمه «برف» همیشه با «اسکی» همراه است. این ضعف، استحکام و قابلیت اطمینان مدل‌ها را در مواجهه با داده‌های جدید و خارج از توزیع به شدت کاهش می‌دهد.

برای مقابله با این مشکل، محققان از نمونه‌های پادواقعی (Counterfactual Examples) استفاده می‌کنند. یک نمونه پادواقعی، نسخه‌ای از یک داده است که در آن یک تغییر حداقلی و کنترل‌شده ایجاد شده تا نتیجه یا برچسب آن تغییر کند. برای مثال، جمله «مرد خوشحال است» را به «مرد غمگین است» تغییر می‌دهیم. این نمونه‌ها مدل را وادار می‌کنند تا به جزئیات دقیق توجه کند و از اتکا به الگوهای سطحی بپرهیزد.

با وجود موفقیت این رویکرد در حوزه پردازش زبان طبیعی (NLP)، تولید نمونه‌های پادواقعی برای داده‌های چندوجهی (Multimodal)، مانند جفت‌های تصویر و متن، بسیار دشوار بوده است. چگونه می‌توان یک تغییر جزئی در متن (مثلاً تغییر رنگ یک شی) را به طور متناظر و واقع‌گرایانه در تصویر اعمال کرد، در حالی که سایر اجزای تصویر دست‌نخورده باقی بمانند؟ مقاله “COCO-Counterfactuals” یک راه حل نوآورانه و مقیاس‌پذیر برای این چالش بزرگ ارائه می‌دهد و از این طریق، گامی مهم در جهت ساخت مدل‌های زبان-بینایی مستحکم‌تر و قابل اعتمادتر برمی‌دارد.

این مقاله توسط Tiep Le، Vasudev Lal و Phillip Howard به نگارش درآمده است. این پژوهش در تقاطع سه حوزه کلیدی هوش مصنوعی قرار دارد:

• یادگیری ماشین (Machine Learning): تمرکز بر بهبود استحکام و قابلیت تعمیم مدل‌ها.
• بینایی کامپیوتر و بازشناسی الگو (Computer Vision and Pattern Recognition): تحلیل و درک محتوای بصری.
• محاسبات و زبان (Computation and Language): پردازش و درک زبان طبیعی در ارتباط با ورودی‌های دیگر.

این پژوهش در زمانی ارائه شده که مدل‌های چندوجهی بزرگ مانند CLIP، DALL-E و Flamingo در حال دگرگون کردن چشم‌انداز هوش مصنوعی هستند. با افزایش توانایی این مدل‌ها، نیاز به ارزیابی دقیق‌تر و بهبود استحکام آن‌ها نیز بیش از پیش احساس می‌شود. این مقاله مستقیماً به این نیاز پاسخ می‌دهد و ابزاری قدرتمند برای سنجش و تقویت نسل جدید مدل‌های هوش مصنوعی فراهم می‌کند.

مقاله “COCO-Counterfactuals” یک چارچوب نوآورانه برای تولید خودکار و در مقیاس بزرگ نمونه‌های پادواقعی برای جفت‌های تصویر-متن معرفی می‌کند. چالش اصلی در این زمینه، دشواری ایجاد تغییرات حداقلی و کنترل‌شده در تصاویر است. نویسندگان برای غلبه بر این مانع، از قدرت مدل‌های انتشاری متن-به-تصویر (Text-to-Image Diffusion Models) بهره می‌برند.

با استفاده از این چارچوب، آن‌ها مجموعه داده جدیدی به نام COCO-Counterfactuals را بر اساس مجموعه داده محبوب MS-COCO ایجاد کرده‌اند. این مجموعه داده شامل جفت‌های تصویر و متنی است که در آن یک ویژگی خاص (مانند رنگ، تعداد یا عمل) در متن تغییر یافته و این تغییر به طور متناظر در تصویر نیز اعمال شده است.

نویسندگان کیفیت این مجموعه داده را از طریق ارزیابی‌های انسانی تأیید کرده و نشان می‌دهند که مدل‌های چندوجهی پیشرفته موجود، در مواجهه با این نمونه‌های پادواقعی به شدت به چالش کشیده می‌شوند. در نهایت، آن‌ها ثابت می‌کنند که استفاده از COCO-Counterfactuals برای افزایش داده‌های آموزشی (Data Augmentation) می‌تواند به طور قابل توجهی تعمیم‌پذیری خارج از دامنه (Out-of-Domain Generalization) مدل‌های زبان-بینایی را بهبود بخشد.

روش‌شناسی ارائه شده در این مقاله، قلب نوآوری آن است. این فرآیند شامل چند مرحله کلیدی برای تولید خودکار یک جفت پادواقعی از یک جفت تصویر-متن اولیه است:

1. انتخاب زوج تصویر-متن اولیه: فرآیند با یک نمونه از یک مجموعه داده استاندارد مانند MS-COCO آغاز می‌شود. برای مثال، تصویر یک اتوبوس زرد در خیابان به همراه زیرنویس «یک اتوبوس زرد در کنار پیاده‌رو پارک شده است».
2. شناسایی و جایگزینی ویژگی در متن: در این مرحله، یک ویژگی قابل تغییر در زیرنویس شناسایی می‌شود. این ویژگی می‌تواند مربوط به رنگ، تعداد اشیاء، یک فعل یا یک صفت باشد. سپس این ویژگی با یک مقدار جدید جایگزین می‌شود تا یک «زیرنویس پادواقعی» ایجاد گردد. مثلاً، «زرد» به «قرمز» تغییر می‌کند و زیرنویس جدید به این صورت خواهد بود: «یک اتوبوس قرمز در کنار پیاده‌رو پارک شده است».
3. تولید تصویر پادواقعی با مدل‌های انتشاری: این مرحله دشوارترین بخش کار است که نویسندگان با استفاده از مدل‌های ویرایش تصویر مبتنی بر انتشار (Diffusion-based Image Editing) آن را حل کرده‌اند. مدل، تصویر اصلی و زیرنویس پادواقعی جدید را به عنوان ورودی دریافت می‌کند. سپس مدل وظیفه دارد تا تصویر اصلی را به گونه‌ای ویرایش کند که با زیرنویس جدید مطابقت داشته باشد، اما کمترین تغییر ممکن را در سایر بخش‌های تصویر ایجاد نماید. در مثال ما، مدل تصویری تولید می‌کند که در آن همان اتوبوس، در همان خیابان و با همان پس‌زمینه، اما با رنگ قرمز دیده می‌شود.
4. ایجاد زوج پادواقعی نهایی: در نهایت، تصویر جدید تولید شده با زیرنویس پادواقعی جفت می‌شود و یک نمونه داده پادواقعی کامل را تشکیل می‌دهد. اکنون ما دو جفت داده داریم: (تصویر اتوبوس زرد، «اتوبوس زرد») و (تصویر اتوبوس قرمز، «اتوبوس قرمز»). این دو جفت تنها در یک ویژگی کلیدی تفاوت دارند و ابزاری ایده‌آل برای آزمون درک دقیق مدل‌ها فراهم می‌کنند.

این چارچوب کاملاً خودکار و مقیاس‌پذیر است، به این معنی که می‌توان از آن برای تولید میلیون‌ها نمونه پادواقعی برای مجموعه داده‌های مختلف استفاده کرد و راه را برای ساخت معیارهای ارزیابی و مجموعه داده‌های آموزشی بسیار غنی‌تر هموار می‌کند.

این پژوهش به چندین یافته مهم و تأثیرگذار دست یافته است:

• کیفیت بالای نمونه‌های تولید شده: نویسندگان برای سنجش کیفیت مجموعه داده COCO-Counterfactuals از ارزیابان انسانی کمک گرفتند. نتایج نشان داد که تصاویر تولید شده نه تنها واقع‌گرایانه هستند، بلکه به خوبی با زیرنویس‌های پادواقعی مطابقت دارند و تغییرات ایجاد شده در آن‌ها حداقلی و متمرکز بر ویژگی مورد نظر است. این امر اعتبار مجموعه داده را به عنوان یک ابزار ارزیابی قابل اعتماد تأیید می‌کند.
• آشکارسازی نقاط ضعف مدل‌های پیشرفته: یکی از یافته‌های تکان‌دهنده این بود که مدل‌های چندوجهی قدرتمند مانند CLIP و ViLT در تشخیص تفاوت‌های ظریف مطرح شده در نمونه‌های پادواقعی عملکرد ضعیفی دارند. برای مثال، وقتی تصویر اصلی (اتوبوس زرد) به مدل داده می‌شود، مدل به درستی زیرنویس «اتوبوس زرد» را به آن مرتبط می‌کند. اما به طور شگفت‌آوری، زیرنویس پادواقعی «اتوبوس قرمز» را نیز با امتیاز بالایی به همان تصویر مرتبط می‌سازد. این نشان می‌دهد که مدل به جای توجه به ویژگی «رنگ»، صرفاً به حضور «اتوبوس» واکنش نشان می‌دهد و از همبستگی‌های کاذب پیروی می‌کند.
• اثبات شکنندگی مدل‌ها: عملکرد مدل‌ها بر روی مجموعه داده COCO-Counterfactuals به طور قابل توجهی پایین‌تر از عملکرد آن‌ها بر روی داده‌های استاندارد بود. این افت عملکرد، شکنندگی (brittleness) این مدل‌ها را آشکار می‌سازد و تأکید می‌کند که آن‌ها هنوز تا رسیدن به درک عمیق و شبه‌انسانی از جهان بصری و زبانی فاصله زیادی دارند.

مقاله “COCO-Counterfactuals” فراتر از یک پژوهش نظری، دستاوردهای عملی و کاربردی مهمی را برای جامعه هوش مصنوعی به ارمغان آورده است:

• یک معیار ارزیابی جدید و چالش‌برانگیز: مجموعه داده COCO-Counterfactuals به عنوان یک بنچمارک جدید، به محققان اجازه می‌دهد تا استحکام و دقت مدل‌های زبان-بینایی خود را به شیوه‌ای بسیار دقیق‌تر بسنجند. این مجموعه داده می‌تواند به عنوان ابزاری استاندارد برای شناسایی نقاط ضعف مدل‌ها و هدایت پژوهش‌های آینده عمل کند.
• بهبود استحکام مدل‌ها از طریق افزایش داده: مهم‌ترین کاربرد این مجموعه داده، استفاده از آن در فرآیند آموزش مدل‌هاست. نویسندگان نشان دادند که با افزودن نمونه‌های پادواقعی به داده‌های آموزشی (روشی که به آن Data Augmentation گفته می‌شود)، مدل‌ها وادار می‌شوند تا به جزئیات دقیق‌تری توجه کنند. مدل‌هایی که با این داده‌های غنی‌شده آموزش می‌بینند، نه تنها در مجموعه داده پادواقعی عملکرد بهتری دارند، بلکه توانایی تعمیم‌پذیری خارج از دامنه آن‌ها نیز به طور چشمگیری افزایش می‌یابد. این یعنی مدل‌ها در مواجهه با سناریوهای جدید و دیده نشده، قوی‌تر و قابل اعتمادتر عمل خواهند کرد.
• یک چارچوب تولید داده مقیاس‌پذیر: روش ارائه شده در این مقاله محدود به مجموعه داده MS-COCO نیست. این چارچوب می‌تواند برای هر مجموعه داده تصویر-متن دیگری به کار گرفته شود تا نسخه‌های پادواقعی از آن تولید گردد. این قابلیت، در را به روی ساخت مجموعه داده‌های تخصصی برای حوزه‌های مختلف مانند پزشکی، رانندگی خودران و رباتیک باز می‌کند.

مقاله “COCO-Counterfactuals: تولید خودکار نمونه‌های پادواقعی برای جفت‌های تصویر و متن” یک گام مهم و رو به جلو در مسیر ساخت مدل‌های هوش مصنوعی مستحکم‌تر و هوشمندتر است. این پژوهش با شناسایی یک شکاف کلیدی در حوزه ارزیابی مدل‌های چندوجهی – یعنی کمبود داده‌های پادواقعی – یک راه حل خلاقانه، خودکار و مقیاس‌پذیر با استفاده از آخرین دستاوردهای مدل‌های مولد ارائه می‌دهد.

مجموعه داده COCO-Counterfactuals نه تنها به عنوان یک ابزار قدرتمند برای به چالش کشیدن و سنجش مدل‌های کنونی عمل می‌کند، بلکه به عنوان یک منبع آموزشی ارزشمند، مسیر را برای بهبود قابلیت اطمینان و تعمیم‌پذیری آن‌ها هموار می‌سازد. این کار به وضوح نشان می‌دهد که حرکت به سوی هوش مصنوعی واقعی، نیازمند فراتر رفتن از یادگیری الگوهای سطحی و حرکت به سمت درک عمیق و مبتنی بر جزئیات از جهان است. این مقاله، ابزارها و بینش‌های لازم برای برداشتن گام‌های بعدی در این مسیر هیجان‌انگیز را فراهم می‌کند.