در سال‌های اخیر، دنیای هوش مصنوعی شاهد انقلابی بزرگ به نام «مدل‌های پیش‌آموزش‌دیده» (Pre-trained Models) بوده است. این مدل‌ها، به‌ویژه در حوزه‌های تک‌وجهی مانند پردازش زبان طبیعی (NLP) با مدل‌هایی چون BERT و GPT، و بینایی کامپیوتر (CV) با معماری‌هایی نظیر ResNet و Vision Transformer (ViT)، توانسته‌اند با یادگیری از حجم عظیمی از داده‌ها، بازنمایی‌های غنی و قابل تعمیمی از جهان به دست آورند. این رویکرد نیاز به آموزش مدل‌های پیچیده از ابتدا برای هر وظیفه جدید را از بین برده و به پیشرفت‌های چشمگیری منجر شده است.

با این موفقیت، پرسش بنیادینی مطرح شد: آیا می‌توان این پارادایم قدرتمند را به وظایف چندوجهی (Multi-modal) که نیازمند درک همزمان چندین نوع داده هستند، گسترش داد؟ مقاله مروری “VLP: A Survey on Vision-Language Pre-training” به قلم فیلونگ چن و همکارانش، پاسخی جامع به این پرسش ارائه می‌دهد. این مقاله به عنوان اولین و یکی از جامع‌ترین بررسی‌ها در زمینه پیش‌آموزش بینایی-زبان (Vision-Language Pre-training یا VLP)، به شکل نظام‌مند به تحلیل، دسته‌بندی و ارزیابی پژوهش‌های انجام‌شده در این حوزه نوظهور و پرشتاب می‌پردازد. اهمیت این مقاله در آن است که نه تنها یک نقشه راه برای محققان و علاقه‌مندان فراهم می‌کند، بلکه با شناسایی روندها، چالش‌ها و افق‌های جدید، به جهت‌دهی آینده این حوزه کمک شایانی می‌نماید.

این مقاله توسط تیمی از محققان برجسته شامل فیلونگ چن، داژن ژانگ، مینگلون هان، شیوئی چن، جینگ شی، شوانگ شو و بو شو به رشته تحریر درآمده است. این پژوهشگران در زمینه‌های هوش مصنوعی، یادگیری عمیق، بینایی کامپیوتر و پردازش زبان طبیعی فعالیت دارند و این مقاله مروری نشان‌دهنده تسلط آن‌ها بر این حوزه میان‌رشته‌ای است.

حوزه تحقیق، یعنی پیش‌آموزش بینایی-زبان (VLP)، بر ایجاد مدل‌هایی تمرکز دارد که قادر به درک ارتباط عمیق و معنایی بین محتوای بصری (تصاویر و ویدئوها) و محتوای متنی (کلمات و جملات) هستند. هدف نهایی، ساخت سیستم‌های هوشمندی است که بتوانند همانند انسان، جهان را از طریق هر دو حس بینایی و زبان به طور همزمان تفسیر کنند. این حوزه در تقاطع دو شاخه اصلی هوش مصنوعی یعنی «بینایی کامپیوتر و بازشناخت الگو» و «محاسبات و زبان» قرار دارد و به همین دلیل، پیشرفت در آن نیازمند نوآوری در هر دو زمینه است.

مقاله با الهام از موفقیت‌های مدل‌های پیش‌آموزش‌دیده در حوزه‌های تک‌وجهی، به بررسی چگونگی اعمال این رویکرد در وظایف چندوجهی می‌پردازد. نویسندگان یک بررسی جامع از جدیدترین پیشرفت‌ها و مرزهای دانش در حوزه VLP، شامل پیش‌آموزش تصویر-متن و ویدئو-متن، ارائه می‌دهند.

برای ایجاد یک درک ساختاریافته و کلی از این حوزه، مقاله پژوهش‌های اخیر را از پنج جنبه کلیدی مورد تحلیل قرار می‌دهد:

• استخراج ویژگی (Feature Extraction): چگونگی تبدیل داده‌های خام بصری و متنی به فرمتی قابل فهم برای مدل.
• معماری مدل (Model Architecture): ساختارهای مختلفی که برای تلفیق اطلاعات از دو وجه استفاده می‌شوند.
• اهداف پیش‌آموزش (Pre-training Objectives): وظایفی که مدل در مرحله پیش‌آموزش یاد می‌گیرد تا ارتباط بین متن و تصویر را درک کند.
• مجموعه داده‌های پیش‌آموزش (Pre-training Datasets): داده‌های عظیمی که به عنوان منبع یادگیری مدل‌ها عمل می‌کنند.
• وظایف پایین‌دستی (Downstream Tasks): کاربردهای عملی که مدل‌های VLP پس از آموزش برای آن‌ها تنظیم (fine-tune) می‌شوند.

در ادامه، مقاله به تفصیل مدل‌های خاص و تاثیرگذار VLP را خلاصه کرده و در نهایت، به بحث در مورد چالش‌های موجود و مسیرهای تحقیقاتی آینده می‌پردازد. این ساختار منسجم، مقاله را به یک منبع مرجع ارزشمند برای هر فردی که به دنبال ورود یا تعمیق دانش خود در حوزه VLP است، تبدیل کرده است.

از آنجایی که این یک مقاله مروری است، روش‌شناسی آن بر پایه دسته‌بندی و تحلیل نظام‌مند ادبیات موضوع استوار است. نویسندگان حوزه VLP را به پنج جزء اصلی تقسیم کرده‌اند که در ادامه به تفصیل بررسی می‌شوند.

الف) استخراج ویژگی: اولین گام در هر مدل VLP، تبدیل داده‌های خام به بردارهای عددی (Features) است. برای متن، از تکنیک‌هایی مانند WordPiece یا BPE استفاده می‌شود. برای تصاویر، دو رویکرد غالب وجود دارد: ۱) رویکرد مبتنی بر ناحیه (Region-based) که با استفاده از آشکارسازهای اشیاء مانند Faster R-CNN، ویژگی‌های مربوط به اشیاء خاص در تصویر را استخراج می‌کند و ۲) رویکرد مبتنی بر شبکه (Grid-based) که تصویر را به شبکه‌ای از پچ‌ها تقسیم کرده و ویژگی‌ها را مستقیماً از طریق یک شبکه کانولوشنی یا ترنسفورمر بصری (ViT) استخراج می‌نماید. روند کلی به سمت رویکрدهای Grid-based است که یکپارچگی بیشتری دارند.

ب) معماری مدل: قلب یک مدل VLP، معماری آن است که نحوه تعامل و تلفیق ویژگی‌های بصری و متنی را تعیین می‌کند. معماری ترنسفورمر (Transformer) به دلیل قدرت بالای آن در مدل‌سازی روابط از طریق مکانیزم توجه (Attention)، بر این حوزه مسلط است. دو نوع معماری اصلی عبارتند از:

• معماری تک‌جریانه (Single-stream): در این مدل‌ها، ویژگی‌های متنی و بصری در همان ابتدا با یکدیگر ترکیب شده و وارد یک ترنسفورمر واحد می‌شوند. این رویکرد امکان تلفیق عمیق و لایه‌به‌لایه اطلاعات را فراهم می‌کند (مانند مدل UNITER).
• معماری دوجریانه (Dual-stream): در این رویکرد، هر وجه (متن و تصویر) ابتدا توسط ترنسفورمرهای جداگانه پردازش شده و سپس اطلاعات از طریق لایه‌های توجه متقاطع (Cross-attention) بین آن‌ها رد و بدل می‌شود (مانند مدل LXMERT).

ج) اهداف پیش‌آموزش: برای اینکه مدل بتواند ارتباط بین متن و تصویر را یاد بگیرد، باید روی وظایف خاصی در مقیاس بزرگ پیش‌آموزش ببیند. سه هدف اصلی عبارتند از:

• مدل‌سازی زبان نقاب‌دار (Masked Language Modeling – MLM): مشابه مدل BERT، برخی کلمات در متن ورودی حذف (mask) می‌شوند و مدل باید با استفاده از کلمات باقی‌مانده و کل تصویر، آن‌ها را پیش‌بینی کند.
• مدل‌سازی ناحیه نقاب‌دار (Masked Region Modeling – MRM): بخشی از تصویر (یک شیء یا یک پچ) پنهان می‌شود و مدل باید بر اساس متن و بقیه تصویر، ویژگی‌ها یا دسته معنایی آن ناحیه را بازسازی کند.
• تطبیق تصویر-متن (Image-Text Matching – ITM): این یک وظیفه کلیدی برای یادگیری هم‌ترازی (Alignment) است. مدل یک زوج تصویر-متن دریافت کرده و باید تشخیص دهد که آیا متن واقعاً توصیف‌کننده آن تصویر است یا خیر.

د) مجموعه داده‌ها و وظایف پایین‌دستی: موفقیت مدل‌های VLP به شدت به دسترسی به مجموعه داده‌های عظیم چندوجهی وابسته است. دیتاست‌هایی مانند COCO، Visual Genome، Conceptual Captions و SBU Captions برای زوج‌های تصویر-متن و دیتاست‌هایی چون HowTo100M برای ویدئو-متن، سوخت لازم برای آموزش این مدل‌های غول‌پیکر را فراهم می‌کنند. پس از پیش‌آموزش، این مدل‌ها برای کاربردهای خاصی مانند پرسش و پاسخ بصری (VQA)، تولید کپشن برای تصویر (Image Captioning)، بازیابی تصویر از روی متن (Text-to-Image Retrieval) و استدلال عقل سلیم بصری (VCR) تنظیم دقیق (fine-tune) می‌شوند.

این مقاله مروری چندین یافته و روند کلیدی را در حوزه VLP برجسته می‌کند:

• سلطه بلامنازع معماری ترنسفورمر: تقریباً تمام مدل‌های مدرن VLP بر پایه معماری ترنسفورمر و مکانیزم توجه خودی (self-attention) و توجه متقاطع (cross-attention) بنا شده‌اند. این معماری به طور موثری قادر به مدل‌سازی روابط پیچیده درون‌وجهی و بین‌وجهی است.
• اهمیت حیاتی اهداف هم‌ترازی: وظیفه Image-Text Matching (ITM) به عنوان یک هدف پیش‌آموزش، نقشی حیاتی در یادگیری ارتباط معنایی و هم‌ترازی دقیق بین نمایش‌های بصری و متنی ایفا می‌کند.
• گذار به سمت مدل‌های یکپارچه (End-to-End): یک روند واضح از استخراج ویژگی‌های بصری مبتنی بر آشکارسازهای شیء (که یک خط لوله چندمرحله‌ای و پیچیده ایجاد می‌کرد) به سمت مدل‌های یکپارچه که مستقیماً از پچ‌های تصویر استفاده می‌کنند (مانند ViT)، مشاهده می‌شود. این رویکرد ساده‌تر و اغلب کارآمدتر است.
• پارادایم “بزرگ‌تر، بهتر است”: همانند دیگر حوزه‌های یادگیری عمیق، در VLP نیز افزایش اندازه مدل و حجم داده‌های پیش‌آموزش، به طور مستقیم به بهبود عملکرد در وظایف پایین‌دستی منجر می‌شود.

پیشرفت‌های حوزه VLP صرفاً تئوریک نبوده و به کاربردهای عملی شگفت‌انگیزی منجر شده است:

• جستجوی چندرسانه‌ای هوشمند: سیستم‌هایی که به کاربران اجازه می‌دهند با استفاده از یک توصیف متنی پیچیده، تصاویر یا ویدئوهای مرتبط را پیدا کنند. برای مثال، جستجوی عبارت «یک توله‌سگ گلدن رتریور در حال پریدن برای گرفتن یک فریزبی قرمز در یک پارک چمن‌زار» که فراتر از تطبیق کلمات کلیدی ساده عمل می‌کند.
• سیستم‌های پرسش و پاسخ بصری (VQA): هوش مصنوعی که می‌تواند به سوالات زبان طبیعی در مورد محتوای یک تصویر پاسخ دهد. مثلاً با نشان دادن تصویری از یک آشپزخانه، می‌توان پرسید: «چند صندلی دور میز وجود دارد؟».
• تولید خودکار کپشن و خلاصه: این فناوری برای تولید خودکار توضیحات متنی برای تصاویر و ویدئوها استفاده می‌شود که در زمینه‌هایی مانند افزایش دسترسی برای افراد کم‌بینا، مدیریت محتوای دیجیتال و خلاصه‌سازی ویدئو کاربرد دارد.
• ابزارهای خلاقانه مبتنی بر هوش مصنوعی: شاید هیجان‌انگیزترین دستاورد این حوزه، ظهور مدل‌های تولید تصویر از متن (Text-to-Image) مانند DALL-E، Midjourney و Stable Diffusion باشد. این مدل‌ها که مستقیماً بر پایه‌های تحقیقات VLP بنا شده‌اند، قادرند توصیفات متنی را به تصاویر بصری خیره‌کننده تبدیل کنند و مرزهای خلاقیت را جابجا کرده‌اند.

مقاله “VLP: A Survey on Vision-Language Pre-training” با ارائه یک چارچوب منسجم و تحلیلی عمیق، نقش مهمی در سازماندهی دانش پراکنده در این حوزه ایفا می‌کند. این مقاله نه تنها وضعیت فعلی را به تصویر می‌کشد، بلکه مسیرهای آینده را نیز روشن می‌سازد.

نویسندگان در پایان به “مرزهای جدید” و چالش‌های پیش روی این حوزه اشاره می‌کنند که تحقیقات آینده را شکل خواهند داد:

• کارایی و مقیاس‌پذیری: مدل‌های VLP فعلی بسیار بزرگ و پرهزینه هستند. تحقیقات آینده باید بر روی طراحی معماری‌های بهینه‌تر و روش‌های آموزشی کارآمدتر تمرکز کند.
• تعمیم‌پذیری و پایداری: این مدل‌ها باید بتوانند در مواجهه با داده‌های خارج از توزیع آموزش یا حملات تخاصمی (Adversarial Attacks) عملکرد قابل اعتمادی از خود نشان دهند.
• فراتر از تصویر و متن: گسترش این مدل‌ها برای درک همزمان چندین وجه دیگر مانند صدا، داده‌های سه‌بعدی و اطلاعات سنسورها، گام بعدی در جهت ساخت هوش مصنوعی جامع‌تر است.
• تفسیرپذیری و مسائل اخلاقی: درک اینکه این مدل‌های “جعبه سیاه” چگونه تصمیم می‌گیرند و همچنین مقابله با سوگیری‌های موجود در داده‌های آموزشی که می‌توانند منجر به نتایج ناعادلانه یا مضر شوند، از چالش‌های اساسی پیش رو است.

در مجموع، حوزه پیش‌آموزش بینایی-زبان یکی از هیجان‌انگیزترین و پر پتانسیل‌ترین شاخه‌های هوش مصنوعی است که قول می‌دهد پلی مستحکم بین درک ماشینی از جهان بصری و زبان انسانی بسازد و راه را برای نسل بعدی سیستم‌های هوشمند و تعاملی هموار کند.