در سال‌های اخیر، هوش مصنوعی شاهد پیشرفت‌های چشمگیری در دو حوزه کلیدی بوده است: پردازش زبان طبیعی (NLP) و بینایی کامپیوتر (CV). مدل‌های عظیمی مانند GPT در درک و تولید زبان انسان به توانایی‌های شگفت‌انگیزی دست یافته‌اند و مدل‌های بینایی کامپیوتر نیز در تشخیص و تحلیل تصاویر به دقتی فراتر از انسان رسیده‌اند. اما مرز بعدی هوش مصنوعی، پیوند این دو دنیاست؛ یعنی ساختن مدل‌هایی که بتوانند همزمان جهان بصری را «ببینند» و آن را با زبان انسان «توصیف» و «درک» کنند.

مقاله «Vision-and-Language Pretrained Models: A Survey» به قلم سیکو لانگ و همکارانش، دقیقاً به همین حوزه نوظهور و هیجان‌انگیز می‌پردازد. این مقاله یک بررسی جامع (Survey) از مدل‌های از پیش آموزش‌دیده دیداری-زبانی (VLPMs) است. اهمیت این مقاله در آن است که در یک زمینه تحقیقاتی که با سرعت بسیار بالایی در حال تحول است، یک نقشه راه و یک چارچوب منسجم ارائه می‌دهد. این مقاله با دسته‌بندی معماری‌ها، روش‌های آموزش و کاربردها، به پژوهشگران جدید کمک می‌کند تا به سرعت با مفاهیم اصلی آشنا شوند و به محققان باتجربه نیز دیدی کلی از آخرین روندها و چالش‌های پیش رو ارائه می‌دهد.

نویسندگان این مقاله، سیکو لانگ، فیکی کائو، سویون کارن هان و هایکین یانگ، پژوهشگرانی فعال در حوزه‌های بینایی کامپیوتر و پردازش زبان طبیعی هستند. نگارش مقالات مروری توسط متخصصان یک حوزه، اقدامی ارزشمند است که به انسجام دانش و هموارسازی مسیر برای تحقیقات آینده کمک شایانی می‌کند. این مقاله در دسته‌بندی‌های «بینایی کامپیوتر و بازشناسی الگو» و «محاسبات و زبان» قرار می‌گیرد که نشان‌دهنده ماهیت میان‌رشته‌ای آن است. این پژوهش تلاش دارد تا شکاف میان دو جامعه علمی را پر کرده و به ایجاد یک زبان مشترک برای پیشبرد این حوزه کمک کند.

این مقاله مروری، پیشرفت‌های عمده در مدل‌های VLPM را که به دنبال یادگیری بازنمایی‌های مشترک از داده‌های بصری و زبانی هستند، بررسی می‌کند. این مدل‌ها معمولاً از یک معماری چندلایه ترنسفورمر (Transformer) برای پردازش همزمان محتوای تصویری و متنی استفاده می‌کنند. نویسندگان مقاله را با اصول اولیه، شامل تعریف کلی وظیفه و معماری عمومی VLPMها، آغاز می‌کنند. سپس، به تشریح جزئیات فنی می‌پردازند:

• روش‌های رمزگذاری داده: چگونگی تبدیل تصاویر و متون به فرمتی که برای مدل قابل فهم باشد.
• ساختارهای اصلی VLPM: بررسی معماری‌های رایج تک-جریانه و دو-جریانه که هسته اصلی این مدل‌ها را تشکیل می‌دهند.
• استراتژی‌های پیش‌آموزش و تنظیم دقیق: توضیح روش‌هایی که مدل‌ها با استفاده از آن‌ها روی داده‌های عظیم آموزش می‌بینند (پیش‌آموزش) و سپس برای وظایف خاص بهینه می‌شوند (تنظیم دقیق).
• مسیرهای آینده: در نهایت، مقاله سه مسیر تحقیقاتی آینده را برای پژوهشگران هر دو حوزه CV و NLP برجسته می‌کند تا راهنمایی برای کارهای آتی باشد.

از آنجایی که این یک مقاله مروری است، روش‌شناسی آن شامل گردآوری، تحلیل و دسته‌بندی نظام‌مند پژوهش‌های موجود در حوزه VLPMهاست. نویسندگان این فرآیند را در چند بخش کلیدی سازماندهی کرده‌اند:

الف) رمزگذاری داده‌های دیداری و زبانی

اولین گام در هر مدل VLPM، تبدیل داده‌های خام (پیکسل‌های تصویر و کلمات متن) به بردارهای عددی (Embeddings) است. این مقاله روش‌های متداول را بررسی می‌کند:

• رمزگذاری متن: معمولاً با استفاده از توکنایزرهایی مانند WordPiece یا BPE، متن به واحدهای کوچکتری به نام توکن تقسیم شده و سپس هر توکن به یک بردار متناظر نگاشت می‌شود.
• رمزگذاری تصویر: دو رویکرد اصلی وجود دارد. رویکرد اول، استفاده از شبکه‌های کانولوشنی (CNN) برای استخراج ویژگی از یک شبکه منظم روی تصویر است. رویکرد دوم و محبوب‌تر، استفاده از یک مدل تشخیص اشیاء (مانند Faster R-CNN) برای شناسایی اشیاء و مناطق مهم در تصویر و استخراج ویژگی‌های مربوط به هر منطقه است. این کار به مدل اجازه می‌دهد تا روی بخش‌های معنادارتری از تصویر تمرکز کند.

ب) معماری‌های اصلی VLPM

قلب یک مدل VLPM، معماری ترنسفورمر آن است که وظیفه ترکیب و یکپارچه‌سازی اطلاعات از دو منبع مختلف (دیداری و زبانی) را بر عهده دارد. مقاله دو نوع ساختار اصلی را معرفی می‌کند:

• معماری دو-جریانه (Two-Stream): در این مدل‌ها، دو ترنسفورمر مجزا به صورت موازی اطلاعات متن و تصویر را پردازش می‌کنند. سپس، خروجی این دو جریان از طریق لایه‌های توجه متقابل (Cross-Attention) با یکدیگر ترکیب می‌شود تا بازنمایی مشترکی ایجاد شود. مدل‌هایی مانند ViLBERT و LXMERT از این رویکرد استفاده می‌کنند.
• معماری تک-جریانه (Single-Stream): در این رویکرد، بردارهای متنی و تصویری از همان ابتدا با یکدیگر الحاق شده و به یک ترنسفورمر واحد وارد می‌شوند. این ترنسفورمر وظیفه دارد تا از همان لایه‌های اولیه، روابط میان دو مُدالیته را یاد بگیرد. مدل‌هایی مانند VisualBERT و UNITER نمونه‌هایی از این ساختار هستند.

ج) استراتژی‌های پیش‌آموزش

جادوی واقعی VLPMها در مرحله پیش‌آموزش رخ می‌دهد. در این مرحله، مدل بر روی حجم عظیمی از داده‌های جفت‌شده تصویر-متن (مثلاً تصاویر وب و زیرنویس‌های آن‌ها) آموزش داده می‌شود تا الگوهای آماری و روابط معنایی میان این دو را یاد بگیرد. مقاله چندین وظیفه پیش‌آموزش کلیدی را شرح می‌دهد:

• مدل‌سازی زبان نقاب‌دار (Masked Language Modeling – MLM): مشابه مدل BERT، برخی از کلمات در متن ورودی به صورت تصادفی حذف (نقاب‌دار) می‌شوند و مدل باید بر اساس کلمات دیگر و تصویر مرتبط، کلمه حذف‌شده را پیش‌بینی کند. این کار به مدل درک زبان در بستر بصری را می‌آموزد.
• مدل‌سازی ناحیه نقاب‌دار (Masked Region Modeling – MRM): به طور مشابه، بخشی از تصویر (مثلاً یک شیء) پنهان می‌شود و مدل باید بر اساس متن و بقیه تصویر، ویژگی‌های ناحیه حذف‌شده یا برچسب آن (مثلاً «سگ») را پیش‌بینی کند.
• تطبیق دیداری-زبانی (Vision-Language Matching – VLM): به مدل یک جفت تصویر-متن داده می‌شود و از آن خواسته می‌شود تشخیص دهد که آیا متن به درستی تصویر را توصیف می‌کند یا خیر. این وظیفه به مدل کمک می‌کند تا هم‌راستایی معنایی عمیقی بین دو مُدالیته ایجاد کند.

این بررسی جامع چندین یافته و روند کلیدی را در حوزه VLPMها برجسته می‌کند:

• سلطه معماری ترنسفورمر: تقریباً تمام مدل‌های پیشرفته VLPM بر پایه معماری ترنسفورمر و مکانیزم توجه (Attention) ساخته شده‌اند که توانایی فوق‌العاده‌ای در مدل‌سازی روابط دوربرد میان عناصر ورودی دارد.
• اهمیت داده‌های عظیم: موفقیت این مدل‌ها به شدت به دسترسی به مجموعه داده‌های بسیار بزرگ (شامل میلیون‌ها یا میلیاردها جفت تصویر-متن) وابسته است. داده‌های جمع‌آوری‌شده از وب، با وجود نویز، منبع اصلی برای پیش‌آموزش هستند.
• ترکیب وظایف پیش‌آموزش: بهترین مدل‌ها معمولاً از ترکیبی از وظایف پیش‌آموزش (مانند MLM، MRM و VLM) به صورت همزمان استفاده می‌کنند تا بازنمایی‌های غنی‌تر و جامع‌تری را یاد بگیرند.
• حرکت به سمت مدل‌های یکپارچه: روندی رو به رشد به سمت معماری‌های تک-جریانه و مدل‌های یکپارچه (Unified) وجود دارد که می‌توانند طیف وسیعی از وظایف دیداری-زبانی را با یک معماری واحد انجام دهند.

پس از مرحله پیش‌آموزش، مدل‌های VLPM می‌توانند برای طیف گسترده‌ای از وظایف پایین‌دستی (Downstream Tasks) تنظیم دقیق شوند. این مقاله به برخی از مهم‌ترین کاربردها اشاره می‌کند:

• پرسش و پاسخ بصری (Visual Question Answering – VQA): کاربر یک تصویر و یک سوال در مورد آن (مثلاً «چند نفر در تصویر هستند؟») را به مدل می‌دهد و مدل به سوال پاسخ می‌دهد.
• تولید زیرنویس برای تصویر (Image Captioning): مدل با دریافت یک تصویر، یک توصیف متنی دقیق و طبیعی برای آن تولید می‌کند. (مثلاً: «یک سگ قهوه‌ای در حال گرفتن فریزبی در یک پارک است.»)
• بازیابی تصویر بر اساس متن (Text-to-Image Retrieval): کاربر یک عبارت متنی را جستجو می‌کند و مدل مرتبط‌ترین تصاویر را از یک مجموعه داده بزرگ بازیابی می‌کند. این فناوری هسته اصلی موتورهای جستجوی تصویر مدرن است.
• استدلال عقل سلیم بصری (Visual Commonsense Reasoning): این وظیفه پیچیده‌تر نیازمند درک عمیق روابط، علت و معلول و نیت‌ها در یک تصویر است. برای مثال، با دیدن تصویری از فردی که چتر به دست دارد، مدل باید استنباط کند که احتمالاً هوا بارانی است.

مقاله «مدل‌های از پیش آموزش‌دیده دیداری-زبانی: یک بررسی» با موفقیت چشم‌انداز یک حوزه تحقیقاتی پویا و تأثیرگذار را ترسیم می‌کند. این پژوهش نشان می‌دهد که با ترکیب قدرت مدل‌های زبانی و بینایی، می‌توان به سطح جدیدی از درک هوشمندانه دست یافت. در پایان، نویسندگان سه مسیر اصلی برای تحقیقات آینده را پیشنهاد می‌کنند:

1. معماری‌های یکپارچه و وظایف عمومی‌تر: حرکت به سمت ساخت مدل‌های واحدی که بتوانند بدون نیاز به تغییرات ساختاری، مجموعه وسیعی از وظایف دیداری، زبانی و چندوجهی را انجام دهند و به نوعی یک «عامل هوشمند» عمومی‌تر باشند.
2. بهره‌وری و مقیاس‌پذیری: این مدل‌ها نیازمند منابع محاسباتی بسیار زیادی هستند. تحقیقات آینده باید بر روی توسعه مدل‌های کارآمدتر و کوچک‌تر و همچنین روش‌هایی برای یادگیری از داده‌های کمتر یا با نظارت ضعیف‌تر تمرکز کنند.
3. ارزیابی عمیق‌تر و معیارهای جدید: معیارهای فعلی اغلب توانایی‌های سطحی را می‌سنجند. نیاز به طراحی بنچمارک‌ها و معیارهای جدیدی وجود دارد که بتوانند توانایی استدلال واقعی، درک علّی و مقابله با سوگیری‌های موجود در داده‌ها را به چالش بکشند.

در مجموع، این مقاله یک منبع ارزشمند برای هر کسی است که علاقه‌مند به درک چگونگی تلاقی زبان و بینایی در مرزهای دانش هوش مصنوعی است و نقشه راهی روشن برای چالش‌ها و فرصت‌های هیجان‌انگیز پیش رو ارائه می‌دهد.