در دنیای هوش مصنوعی، یکی از بزرگترین چالش‌ها، آموزش ماشین‌ها برای درک زبان انسان به شیوه‌ای عمیق و مشابه با انسان است. یکی از جنبه‌های کلیدی این درک، توانایی تشخیص این است که کلمات و عبارات مختلف در یک متن به چه موجودیت واحدی اشاره دارند. این وظیفه که با نام حل هم‌ارجاعی (Coreference Resolution) شناخته می‌شود، هسته اصلی بسیاری از کاربردهای پردازش زبان طبیعی (NLP) را تشکیل می‌دهد. برای مثال، در جمله «آرش گیتار خود را برداشت. او شروع به نواختن کرد.»، سیستم باید بفهمد که «او» به «آرش» اشاره دارد.

این مقاله با عنوان «به چه کسی اشاره می‌کنید؟ حل هم‌ارجاعی در روایت‌های تصویری» این چالش را یک قدم فراتر برده و آن را به حوزه چندوجهی (Multi-modal) یعنی ترکیب زبان و تصویر، گسترش می‌دهد. در حالی که شرح‌نگاری ساده تصاویر (Image Captioning) معمولاً به تولید یک جمله کوتاه مانند «مردی در حال نواختن گیتار است» محدود می‌شود، این پژوهش بر روی روایت‌های تصویری طولانی تمرکز دارد؛ داستان‌هایی که در مورد یک تصویر بیان می‌شوند و مملو از ضمایر و عبارات ارجاعی هستند. اهمیت این مقاله در ارائه یک راهکار نوآورانه برای حل این مسئله پیچیده، ایجاد یک مجموعه داده جدید و ارزشمند، و نمایش تأثیر مثبت آن بر وظایف مرتبط مانند «اتصال بصری» (Visual Grounding) است.

این مقاله حاصل همکاری تیمی از پژوهشگران برجسته در حوزه هوش مصنوعی است: آروشی گوئل، باسورا فرناندو، فرانک کلر و هاکان بیلن. این محققان در دانشگاه‌های معتبری مانند دانشگاه ادینبرو فعالیت دارند و تخصص آن‌ها در تقاطع دو حوزه کلیدی بینایی کامپیوتر (Computer Vision) و محاسبات و زبان (Computation and Language) قرار دارد.

این پژوهش در زمینه رو به رشد «زبان و بینایی» (Vision and Language) قرار می‌گیرد که هدف آن ساخت سیستم‌های هوشمندی است که قادر به درک و استدلال همزمان بر روی داده‌های بصری و متنی باشند. این حوزه به دنبال آن است که ماشین‌ها نه تنها بتوانند بگویند در یک تصویر چه چیزی وجود دارد، بلکه بتوانند داستانی منسجم و قابل فهم در مورد آن روایت کنند، به سؤالات پیچیده درباره آن پاسخ دهند و دستورالعمل‌های مبتنی بر زبان را در یک محیط بصری اجرا کنند.

هدف اصلی این مقاله، حل مسئله هم‌ارجاعی در روایت‌های طولانی است که برای توصیف یک صحنه بصری ایجاد شده‌اند. نویسندگان به یک چالش اساسی اشاره می‌کنند: اکثر مجموعه داده‌های موجود که متن و تصویر را به هم مرتبط می‌کنند، تنها شامل جملات کوتاه و فاقد عبارات هم‌ارجاع هستند و زنجیره‌های ارجاعی در آن‌ها برچسب‌گذاری نشده است.

برای غلبه بر این مشکل، پژوهشگران دو دستاورد اصلی را ارائه می‌دهند:

• ایجاد یک مجموعه داده جدید: آن‌ها یک مجموعه داده تخصصی معرفی می‌کنند که در آن روایت‌های طولانی برای تصاویر، همراه با زنجیره‌های هم‌ارجاعی برچسب‌گذاری شده و کادرهای محاطی (Bounding Boxes) مربوط به هر موجودیت در تصویر، مشخص شده‌اند.
• ارائه یک تکنیک نوآورانه: آن‌ها یک مدل جدید را پیشنهاد می‌کنند که با استفاده از نظارت ضعیف (Weak Supervision)، زنجیره‌های هم‌ارجاعی را یاد می‌گیرد. این مدل تنها به جفت‌های تصویر-متن نیاز دارد و با استفاده از دانش زبانی پیشین (Prior Linguistic Knowledge) به عنوان یک قید تنظیم‌کننده (Regularization)، خود را هدایت می‌کند.

نتایج نشان می‌دهد که مدل پیشنهادی عملکرد بسیار بهتری نسبت به روش‌های پایه قوی دارد. علاوه بر این، پژوهشگران نشان می‌دهند که حل دقیق هم‌ارجاعی به بهبود وظیفه مهم دیگری یعنی اتصال روایت‌ها به تصویر (Grounding Narratives in Images) نیز کمک شایانی می‌کند.

روش‌شناسی این مقاله بر دو ستون اصلی استوار است: مجموعه داده و مدل یادگیری.

الف) مجموعه داده (Dataset):
کمبود داده‌های مناسب، بزرگترین مانع در این حوزه بود. نویسندگان با درک این موضوع، مجموعه داده‌ای را طراحی کردند که شامل تصاویر، روایت‌های متنی طولانی و مهم‌تر از همه، حاشیه‌نویسی‌های دقیق است. هر زنجیره هم‌ارجاع (مثلاً: «نوازنده»، «او»، «مرد جوان») به دقت مشخص شده و هر موجودیت در این زنجیره به کادر محاطی مربوط به خود در تصویر متصل شده است. این ساختار غنی به مدل اجازه می‌دهد تا ارتباط بین کلمات در متن و اشیاء در تصویر را بیاموزد.

ب) مدل مبتنی بر نظارت ضعیف:
برچسب‌گذاری کامل زنجیره‌های هم‌ارجاعی کاری بسیار پرهزینه و زمان‌بر است. به همین دلیل، محققان یک رویکرد هوشمندانه مبتنی بر نظارت ضعیف را توسعه دادند. ایده اصلی این است که اگر دو عبارت در متن (مثلاً «سگ» و «آن حیوان») به یک ناحیه مشابه در تصویر اشاره کنند، احتمالاً به یک موجودیت واحد ارجاع می‌دهند. مدل از این سیگنال «ضعیف» اما فراوان برای یادگیری استفاده می‌کند.

معماری مدل احتمالاً از اجزای زیر تشکیل شده است:

• رمزگذار متن (Text Encoder): یک مدل زبانی پیشرفته (مانند BERT) که عبارات و کلمات متن را به بردارهای عددی معنادار تبدیل می‌کند.
• رمزگذار تصویر (Image Encoder): یک شبکه عصبی کانولوشنی (CNN) یا یک ترنسفورمر بینایی (Vision Transformer) که ویژگی‌های بصری را از نواحی مختلف تصویر استخراج می‌کند.
• ماژول تطبیق و امتیازدهی: این بخش، نمایش‌های متنی و بصری را با هم مقایسه کرده و برای هر جفت عبارت کاندید، یک امتیاز هم‌ارجاعی محاسبه می‌کند.

نکته کلیدی در این مدل، استفاده از تنظیم‌سازی با دانش زبانی پیشین است. این به معنای گنجاندن قوانین زبانی در فرآیند یادگیری است. برای مثال، مدل جریمه می‌شود اگر ضمیر «او (he)» را به یک موجودیت مؤنث یا بی‌جان ارجاع دهد. این دانش قبلی به عنوان یک راهنمای قدرتمند عمل کرده و از خطاهای منطقی مدل جلوگیری می‌کند.

این پژوهش به نتایج قابل توجهی دست یافته است که مهم‌ترین آن‌ها عبارتند از:

• برتری چشمگیر بر مدل‌های پایه: مدل پیشنهادی در معیارهای استاندارد ارزیابی حل هم‌ارجاعی، بهبود عملکرد قابل توجهی را در مقایسه با چندین مدل پایه قدرتمند نشان داد. این نتیجه اثبات می‌کند که رویکرد چندوجهی و استفاده از نظارت ضعیف بسیار مؤثر است.
• کارایی نظارت ضعیف: نتایج تأیید کردند که می‌توان بدون نیاز به داده‌های کاملاً برچسب‌گذاری‌شده و تنها با استفاده از سیگنال‌های موجود در جفت‌های تصویر-متن، مدل‌های دقیقی برای حل هم‌ارجاعی آموزش داد. این یافته راه را برای استفاده از مجموعه داده‌های بسیار بزرگتر که فاقد برچسب‌های دقیق هستند، هموار می‌کند.
• تأثیر مثبت دانش زبانی: مطالعات تحلیلی (Ablation Studies) نشان داد که حذف بخش تنظیم‌سازی مبتنی بر دانش زبانی، منجر به افت قابل توجهی در عملکرد مدل می‌شود. این موضوع اهمیت ترکیب یادگیری مبتنی بر داده با دانش ساختاریافته را برجسته می‌کند.
• بهبود در اتصال بصری (Visual Grounding): یکی از یافته‌های جانبی اما مهم این بود که وقتی مدل هم‌ارجاعی را به درستی حل می‌کند، توانایی آن برای اتصال صحیح عبارات به نواحی تصویر نیز بهبود می‌یابد. برای مثال، پس از تشخیص اینکه «او» به «نوازنده» اشاره دارد، مدل می‌تواند جمله «او لبخند می‌زند» را با اطمینان بیشتری به چهره نوازنده در تصویر مرتبط کند.

این پژوهش نه‌تنها یک دستاورد علمی مهم است، بلکه کاربردهای عملی گسترده‌ای نیز دارد:

• افزایش دسترسی‌پذیری برای نابینایان: سیستم‌های مبتنی بر این مدل می‌توانند توصیفات بسیار غنی‌تر و طبیعی‌تری از تصاویر برای افراد کم‌بینا یا نابینا تولید کنند. به جای «یک مرد و یک سگ»، سیستم می‌تواند بگوید: «مردی در حال پرتاب یک توپ است. او خوشحال به نظر می‌رسد و سگش با هیجان به دنبال آن می‌دود.»
• رباتیک و تعامل انسان و ربات: این فناوری به ربات‌ها کمک می‌کند تا دستورات پیچیده و چند مرحله‌ای را درک کنند. برای مثال، دستور «لیوان قرمز را بردار و آن را روی میز آبی بگذار» نیازمند حل هم‌ارجاعی ضمیر «آن» است.
• جستجوی پیشرفته تصاویر: کاربران می‌توانند با استفاده از زبان طبیعی و عبارات پیچیده، تصاویر مورد نظر خود را جستجو کنند. مثلاً «تصاویری را پیدا کن که در آن یک کودک در حال بازی با اسباب‌بازی‌اش است و به نظر می‌رسد از آن لذت می‌برد.»
• خلاصه‌سازی و داستان‌سرایی خودکار ویدئو: با گسترش این رویکرد به داده‌های ویدئویی، می‌توان سیستم‌هایی ساخت که خلاصه‌ای از رویدادها را تولید کرده یا حتی گزارش‌های ورزشی و داستان‌های کوتاهی را بر اساس یک کلیپ ویدئویی روایت کنند.

از منظر علمی، این مقاله با ارائه یک مجموعه داده جدید و یک روش نوآورانه، منبع ارزشمندی برای جامعه تحقیقاتی فراهم کرده و مرزهای پژوهش در حوزه زبان و بینایی را جابجا می‌کند.

مقاله «حل هم‌ارجاعی در روایت‌های تصویری» با موفقیت یک چالش کلاسیک در پردازش زبان طبیعی را به دنیای پیچیده و چندوجهی بینایی کامپیوتر وارد می‌کند. نویسندگان با شناسایی خلاء موجود در داده‌ها و روش‌ها، یک مجموعه داده جدید و یک مدل مبتنی بر نظارت ضعیف ارائه دادند که به طور مؤثری از اطلاعات بصری و دانش زبانی برای حل مسئله هم‌ارجاعی بهره می‌برد.

این پژوهش نشان داد که ترکیب سیگنال‌های بصری با قیود زبانی می‌تواند به طور قابل توجهی عملکرد مدل‌ها را بهبود بخشد و نیاز به داده‌های پرهزینه با برچسب‌گذاری کامل را کاهش دهد. دستاوردهای این مقاله نه تنها به پیشرفت درک ماشین از زبان و تصویر کمک می‌کند، بلکه راه را برای نسل بعدی سیستم‌های هوش مصنوعی هموار می‌سازد؛ سیستم‌هایی که قادرند دنیای پیرامون خود را به شیوه‌ای جامع‌تر، دقیق‌تر و شبیه‌تر به انسان درک کرده و توصیف نمایند.