در سال‌های اخیر، هوش مصنوعی شاهد همگرایی شگفت‌انگیزی میان دو حوزه کلیدی خود یعنی بینایی ماشین (Computer Vision) و پردازش زبان طبیعی (NLP) بوده است. این تلاقی، زمینه تحقیقاتی جدید و پرشتابی به نام «دیداری-زبانی» (Vision-and-Language یا V&L) را به وجود آورده که هدف آن ساخت مدل‌هایی است که قادر به درک همزمان اطلاعات بصری و متنی باشند. با انفجار داده‌های جفت‌شده تصویر-متن در اینترنت و تنوع روزافزون وظایف V&L، محققان مدل‌های یادگیری عمیق متعددی را توسعه داده‌اند.

موفقیت چشمگیر «یادگیری انتقالی» (Transfer Learning) در حوزه‌های بینایی و زبان به صورت جداگانه، الهام‌بخش رویکرد مشابهی در حوزه V&L شد. ایده اصلی، «پیش‌آموزش» (Pretraining) مدل‌ها بر روی مجموعه داده‌های عظیم و عمومی است تا دانش پایه‌ای از ارتباط بین تصاویر و کلمات را بیاموزند و سپس این دانش را به وظایف خاص و «پایین‌دستی» (Downstream Tasks) منتقل کنند. مقاله “Vision-and-Language Pretraining” نوشته Thong Nguyen و همکاران، یک مقاله مروری جامع است که به شکلی نظام‌مند، این حوزه پرجنب‌وجوش را کالبدشکافی می‌کند. اهمیت این مقاله در آن است که در میان انبوهی از مدل‌ها و تکنیک‌های منتشر شده، یک نقشه راه روشن ارائه می‌دهد، رویکردها را دسته‌بندی می‌کند و مسیرهای آینده را برای محققان ترسیم می‌نماید.

این مقاله توسط تیمی از محققان برجسته به نام‌های Thong Nguyen, Cong-Duy Nguyen, Xiaobao Wu, See-Kiong Ng و Anh Tuan Luu به رشته تحریر درآمده است. زمینه تخصصی مقاله، «محاسبات و زبان» (Computation and Language) است که در قلب هوش مصنوعی چندوجهی (Multimodal AI) قرار دارد. این حوزه به دنبال ایجاد سیستم‌هایی است که بتوانند جهان را همانند انسان‌ها، از طریق کانال‌های اطلاعاتی متعدد (مانند بینایی، شنوایی و زبان) درک کنند.

مقاله حاضر به طور خاص بر روی تکنیک‌های پیش‌آموزش تمرکز دارد که به عنوان ستون فقرات مدل‌های مدرن V&L عمل می‌کنند. این تکنیک‌ها به مدل‌ها اجازه می‌دهند تا از حجم عظیمی از داده‌های بدون برچسب یا با برچسب ضعیف (مانند تصاویر و متون همراه آن‌ها در وب) یاد بگیرند و پایه‌ای قوی برای حل مسائل پیچیده‌ای مانند پاسخ به سوالات بصری یا تولید خودکار زیرنویس برای تصاویر فراهم کنند.

مقاله با اشاره به رشد سریع داده‌های تصویر-متن و وظایف دیداری-زبانی، ضرورت یک بررسی جامع از مدل‌های پیش‌آموزش را مطرح می‌کند. نویسندگان هدف اصلی خود را ارائه یک بازبینی کامل از این مدل‌ها اعلام می‌کنند. ساختار مقاله به دقت طراحی شده تا خواننده را با جنبه‌های مختلف این حوزه آشنا سازد:

• طبقه‌بندی رویکردهای پیش‌آموزش: مقاله مدل‌های موجود را بر اساس معماری و اهداف یادگیری‌شان دسته‌بندی می‌کند تا درک آن‌ها ساده‌تر شود.
• خلاصه مدل‌های پیشرفته: مروری بر مهم‌ترین و پیشرفته‌ترین (State-of-the-art) مدل‌های V&L ارائه می‌شود و ویژگی‌های کلیدی هر یک تشریح می‌گردد.
• مجموعه داده‌ها و وظایف پایین‌دستی: فهرستی از مجموعه داده‌های استاندارد برای آموزش و ارزیابی مدل‌ها، به همراه شرح وظایف عملی که این مدل‌ها برای حل آن‌ها طراحی شده‌اند، ارائه می‌شود.
• مسیرهای تحقیقاتی آینده: در نهایت، مقاله با نگاهی به آینده، چالش‌های باقی‌مانده و جهت‌گیری‌های پژوهشی آتی را مورد بحث قرار می‌دهد تا الهام‌بخش کارهای بعدی در این زمینه باشد.

از آنجا که این یک مقاله مروری است، روش‌شناسی آن بر پایه تحلیل و طبقه‌بندی نظام‌مند تحقیقات موجود بنا شده است. نویسندگان مدل‌های V&L را بر اساس دو معیار اصلی دسته‌بندی می‌کنند: معماری مدل و اهداف پیش‌آموزش.

۱. طبقه‌بندی بر اساس معماری:

• مدل‌های دو-جریانه (Dual-Stream): در این معماری، دو انکودر مجزا برای پردازش تصویر و متن وجود دارد. به عنوان مثال، یک مدل مبتنی بر Faster R-CNN ویژگی‌های نواحی مختلف تصویر را استخراج می‌کند و یک انکودر مبتنی بر BERT متن را پردازش می‌کند. خروجی این دو انکودر سپس از طریق لایه‌های توجه متقاطع (Cross-Attention) با یکدیگر تعامل برقرار می‌کنند. مدل‌هایی مانند ViLBERT و LXMERT از این رویکرد استفاده می‌کنند.
• مدل‌های تک-جریانه (Single-Stream): در این رویکرد، ورودی‌های تصویر و متن به یک دنباله واحد از توکن‌ها تبدیل شده و به یک انکودر ترنسفورمر یکپارچه خورانده می‌شوند. این طراحی امکان تعامل عمیق‌تر و از لایه‌های پایین‌تر را بین دو مُدالیته فراهم می‌کند. مدل‌های مشهوری مانند VisualBERT، UNITER و Oscar نمونه‌هایی از این معماری هستند.

۲. طبقه‌بندی بر اساس اهداف پیش‌آموزش (Pretraining Objectives):

هدف اصلی پیش‌آموزش، وادار کردن مدل به یادگیری ارتباط معنایی بین تصویر و متن است. این کار از طریق وظایف خودنظارتی (Self-supervised) انجام می‌شود:

• مدل‌سازی زبان ماسک‌شده (Masked Language Modeling – MLM): در این وظیفه، برخی از کلمات در جمله ورودی ماسک (پنهان) می‌شوند و مدل باید آن‌ها را بر اساس کلمات دیگر و محتوای بصری تصویر پیش‌بینی کند. این کار مدل را مجبور به درک زمینه متنی و بصری می‌کند.
• مدل‌سازی ناحیه ماسک‌شده (Masked Region Modeling – MRM): مشابه MLM، در اینجا بخشی از تصویر (یک ناحیه یا شیء) ماسک می‌شود. مدل باید ویژگی‌های آن ناحیه یا برچسب معنایی آن (مثلاً “گربه”) را بر اساس متن و بقیه تصویر بازسازی کند.
• تطبیق تصویر-متن (Image-Text Matching – ITM): در این وظیفه، مدل یک جفت (تصویر، متن) دریافت می‌کند و باید تشخیص دهد که آیا این دو با هم مطابقت دارند یا خیر (آیا متن توصیف‌کننده تصویر است؟). این کار به مدل کمک می‌کند تا درک سطح بالایی از هم‌راستایی معنایی بین دو مُدالیته پیدا کند.

این مقاله مروری چندین روند و یافته کلیدی را در حوزه پیش‌آموزش دیداری-زبانی شناسایی می‌کند:

• تسلط معماری ترنسفورمر: تقریباً تمام مدل‌های V&L مدرن بر پایه معماری ترنسفورمر (Transformer) ساخته شده‌اند. موفقیت این معماری در NLP (با مدل‌هایی مانند BERT) و بینایی ماشین (با مدل‌هایی مانند Vision Transformer) به طور طبیعی به حوزه چندوجهی نیز گسترش یافته است.
• اهمیت اهداف پیش‌آموزش ترکیبی: بهترین نتایج زمانی حاصل می‌شود که مدل‌ها با ترکیبی از اهداف پیش‌آموزش (مانند MLM، MRM و ITM) آموزش داده شوند. این ترکیب به مدل امکان می‌دهد تا هم درک جزئی (سطح کلمه و ناحیه) و هم درک کلی (سطح جمله و تصویر) را بیاموزد.
• حرکت به سمت معماری‌های یکپارچه: اگرچه مدل‌های دو-جریانه اولین مدل‌های موفق بودند، اما روند کلی به سمت مدل‌های تک-جریانه است که تعامل عمیق‌تری بین مُدالیته‌ها فراهم می‌کنند و اغلب عملکرد بهتری دارند.
• نقش حیاتی داده‌های عظیم: قدرت مدل‌های پیش‌آموزش به طور مستقیم به مقیاس و کیفیت داده‌های آموزشی بستگی دارد. مجموعه داده‌هایی مانند Conceptual Captions (با میلیون‌ها جفت تصویر-متن) و LAION (با میلیاردها جفت) نقشی حیاتی در پیشرفت این حوزه ایفا کرده‌اند.

دستاورد اصلی مدل‌های پیش‌آموزش V&L، بهبود چشمگیر عملکرد در طیف گسترده‌ای از وظایف پایین‌دستی است. این مدل‌ها پس از پیش‌آموزش، می‌توانند برای وظایف خاص با داده‌های بسیار کمتر «تنظیم دقیق» (Fine-tuning) شوند. برخی از مهم‌ترین کاربردها عبارتند از:

• پاسخ به پرسش‌های بصری (VQA): مدل با دریافت یک تصویر و یک سوال درباره آن (مثلاً “رنگ ماشینی که در سمت چپ قرار دارد چیست؟”)، پاسخ متنی تولید می‌کند.
• تولید زیرنویس برای تصویر (Image Captioning): مدل به طور خودکار یک توصیف متنی دقیق برای یک تصویر ایجاد می‌کند (مثلاً “گروهی از افراد در حال بازی فوتبال در یک پارک هستند”).
• استدلال عقل سلیم بصری (VCR): این وظیفه فراتر از تشخیص اشیاء است و نیازمند درک روابط، نیت‌ها و استدلال مبتنی بر عقل سلیم در مورد یک سناریوی بصری است.
• بازیابی تصویر-متن (Image-Text Retrieval): جستجوی تصاویر با استفاده از یک عبارت متنی (Text-to-Image Retrieval) یا یافتن بهترین توصیف متنی برای یک تصویر (Image-to-Text Retrieval).
• ارجاع به عبارات بصری (Visual Grounding): مشخص کردن ناحیه‌ای در تصویر که یک عبارت متنی خاص به آن اشاره دارد (مثلاً پیدا کردن “سگی که زیر میز خوابیده است”).

مقاله “Vision-and-Language Pretraining” یک منبع ارزشمند است که به طور موثر چشم‌انداز پیچیده و به سرعت در حال تحول پیش‌آموزش دیداری-زبانی را نظام‌مند می‌کند. این مقاله نشان می‌دهد که اصول کلیدی موفقیت در این حوزه شامل استفاده از معماری ترنسفورمر، ترکیب هوشمندانه اهداف پیش‌آموزش و بهره‌گیری از مجموعه داده‌های وب-مقیاس است.

نویسندگان در پایان، مسیرهای تحقیقاتی آینده را نیز روشن می‌کنند که شامل موارد زیر است:

• کارایی و مقیاس‌پذیری: توسعه مدل‌های کارآمدتر که به منابع محاسباتی و داده‌های کمتری برای آموزش نیاز دارند.
• یادگیری با داده‌های کمتر: بهبود قابلیت مدل‌ها برای یادگیری وظایف جدید تنها با چند مثال (Few-shot Learning).
• فراتر از تصویر و متن: گسترش این رویکردها به مُدالیته‌های دیگر مانند ویدئو، صدا و گفتار برای ساخت مدل‌های چندوجهی جامع‌تر.
• کاهش سوگیری‌ها (Bias Mitigation): داده‌های جمع‌آوری شده از وب حاوی سوگیری‌های اجتماعی و فرهنگی هستند. تحقیقات آینده باید بر شناسایی و کاهش این سوگیری‌ها در مدل‌ها تمرکز کند.
• استدلال سطح بالاتر: حرکت از وظایف مبتنی بر تشخیص الگو به سمت استدلال انتزاعی، علّی و پیچیده‌تر که به هوش مصنوعی عمومی نزدیک‌تر است.

در مجموع، این مقاله نه تنها یک عکس فوری از وضعیت فعلی این حوزه ارائه می‌دهد، بلکه به عنوان یک قطب‌نما برای هدایت پژوهش‌های آینده در مسیر ساخت سیستم‌های هوشمندتر و با درک عمیق‌تر از جهان عمل می‌کند.