در دنیای پویای یادگیری ماشینی و بینایی کامپیوتر، مدل‌های پیش‌آموزش‌دیده (Pre-trained) نقش حیاتی ایفا می‌کنند. این مدل‌ها که بر روی حجم عظیمی از داده‌ها آموزش داده شده‌اند، قادرند ویژگی‌های پیچیده را استخراج کرده و در وظایف گوناگون عملکرد خوبی از خود نشان دهند. یکی از این مدل‌های برجسته، مدل‌های بینایی-زبانی (Vision-Language یا V-L) مانند CLIP هستند. این مدل‌ها با درک ارتباط بین تصاویر و متن، امکانات جدیدی را در زمینه‌های مختلف از جمله طبقه‌بندی تصاویر، تولید توضیحات تصویری و جستجوی تصاویر بر اساس متن فراهم کرده‌اند. مقاله حاضر با عنوان “MaPLe: یادگیری پرامپت چندوجهی”، به بررسی چالش‌ها و ارائه راهکارهایی در جهت بهبود عملکرد این مدل‌ها می‌پردازد.

مقاله “MaPLe: یادگیری پرامپت چندوجهی” به بررسی این موضوع می‌پردازد که چگونه می‌توان عملکرد مدل‌های بینایی-زبانی مانند CLIP را با استفاده از روش‌های یادگیری پرامپت (Prompt Learning) بهبود بخشید. مدل CLIP، علی‌رغم توانایی‌های چشمگیر خود، به شدت به انتخاب پرامپت‌های متنی ورودی حساس است. به عبارت دیگر، عملکرد مدل می‌تواند به طور قابل توجهی با تغییر جزئی در نحوه ارائه ورودی متنی تغییر کند. این مقاله با ارائه روشی نوین به نام MaPLe، سعی دارد این حساسیت را کاهش داده و عملکرد مدل را در وظایف مختلف بهبود بخشد.

اهمیت این مقاله در چند جنبه قابل بررسی است:

• بهبود عملکرد مدل‌های بینایی-زبانی: MaPLe یک روش کارآمد برای بهبود عملکرد CLIP و مدل‌های مشابه در وظایف مختلف است.
• کاهش حساسیت به پرامپت: با استفاده از MaPLe، مدل کمتر به انتخاب دقیق پرامپت‌های متنی وابسته است، که این امر استفاده از مدل را آسان‌تر و کاربردی‌تر می‌کند.
• تعمیم‌پذیری بهتر: MaPLe به مدل کمک می‌کند تا در شرایط مختلف و با داده‌های جدید، عملکرد بهتری داشته باشد.
• پیشرفت در زمینه یادگیری پرامپت: این مقاله یک گام مهم در جهت توسعه روش‌های یادگیری پرامپت برای مدل‌های بینایی-زبانی است.

این مقاله توسط محمد عزیر ختاک، حنونه رشید، محمد معاذ، سلمان خان و فهد شهباز خان نوشته شده است. نویسندگان این مقاله، محققان برجسته در زمینه بینایی کامپیوتر و یادگیری ماشین هستند و تجربیات ارزشمندی در زمینه توسعه و بهبود مدل‌های یادگیری عمیق دارند. زمینه تحقیقاتی آن‌ها عمدتاً بر روی مدل‌های بینایی-زبانی، یادگیری پرامپت و تعمیم‌پذیری مدل‌ها متمرکز است.

این مقاله در دسته‌بندی بینایی کامپیوتر و تشخیص الگو (Computer Vision and Pattern Recognition) قرار می‌گیرد که نشان‌دهنده تمرکز آن بر روی حل مسائل مربوط به درک و تحلیل تصاویر توسط کامپیوتر است.

چکیده این مقاله به این صورت است: مدل‌های بینایی-زبانی پیش‌آموزش‌دیده مانند CLIP، توانایی تعمیم‌پذیری بسیار خوبی در وظایف مختلف نشان داده‌اند. با این حال، این مدل‌ها به انتخاب پرامپت‌های متنی ورودی حساس هستند و برای عملکرد خوب، نیاز به انتخاب دقیق قالب‌های پرامپت دارند. با الهام از مقالات پردازش زبان طبیعی (NLP)، رویکردهای تطبیق CLIP اخیر، پرامپت‌ها را به عنوان ورودی‌های متنی برای تنظیم دقیق CLIP برای وظایف مختلف یاد می‌گیرند. ما متوجه شده‌ایم که استفاده از پرامپت برای تطبیق بازنمایی‌ها در یک شاخه از CLIP (زبانی یا بینایی) غیربهینه است، زیرا این کار انعطاف‌پذیری لازم برای تنظیم پویای فضاهای بازنمایی در یک وظیفه پایین‌دستی را فراهم نمی‌کند. در این مقاله، ما یادگیری پرامپت چندوجهی (MaPLe) را برای هر دو شاخه بینایی و زبانی پیشنهاد می‌کنیم تا همترازی بین بازنمایی‌های بینایی و زبانی را بهبود بخشیم. طراحی ما، جفت‌شدگی قوی بین پرامپت‌های بینایی-زبانی را برای اطمینان از هم‌افزایی متقابل و جلوگیری از یادگیری راه‌حل‌های تک‌وجهی مستقل تشویق می‌کند. علاوه بر این، ما پرامپت‌های جداگانه‌ای را در مراحل اولیه مختلف یاد می‌گیریم تا روابط ویژگی‌های مرحله‌ای را به طور پیشرونده مدل‌سازی کنیم و امکان یادگیری زمینه غنی را فراهم کنیم. ما اثربخشی رویکرد خود را در سه وظیفه نماینده تعمیم به کلاس‌های جدید، مجموعه‌داده‌های هدف جدید و تغییرات دامنه دیده‌نشده ارزیابی می‌کنیم. در مقایسه با روش پیشرفته Co-CoOp، MaPLe عملکرد مطلوبی از خود نشان می‌دهد و به یک سود مطلق 3.45٪ در کلاس‌های جدید و 2.72٪ در میانگین هارمونیک کلی، به طور متوسط بر روی 11 مجموعه داده شناسایی تصویر متنوع، دست می‌یابد. کد و مدل‌های پیش‌آموزش‌دیده ما در https://github.com/muzairkhattak/multimodal-prompt-learning در دسترس هستند.

به طور خلاصه، مقاله MaPLe روشی را برای بهبود عملکرد مدل‌های CLIP با استفاده از یادگیری پرامپت چندوجهی ارائه می‌دهد. این روش با یادگیری پرامپت‌ها هم در شاخه بینایی و هم در شاخه زبانی مدل، و همچنین با ایجاد جفت‌شدگی قوی بین این پرامپت‌ها، به مدل کمک می‌کند تا در وظایف مختلف عملکرد بهتری داشته باشد و به انتخاب پرامپت‌های متنی کمتر وابسته باشد.

روش‌شناسی تحقیق در این مقاله بر پایه یادگیری پرامپت چندوجهی (Multi-modal Prompt Learning) یا MaPLe استوار است. در این روش، به جای اینکه فقط از پرامپت‌های متنی برای هدایت مدل CLIP استفاده شود، پرامپت‌ها هم در شاخه بینایی و هم در شاخه زبانی مدل آموزش داده می‌شوند. این کار به مدل اجازه می‌دهد تا ارتباط بهتری بین تصاویر و متن برقرار کند و در نتیجه، عملکرد بهتری در وظایف مختلف داشته باشد.

مراحل اصلی روش MaPLe به شرح زیر است:

1. یادگیری پرامپت‌های بینایی و زبانی: MaPLe پرامپت‌های جداگانه‌ای را برای شاخه‌های بینایی و زبانی CLIP یاد می‌گیرد. این پرامپت‌ها به عنوان ورودی‌های اضافی به مدل داده می‌شوند و به آن کمک می‌کنند تا ویژگی‌های مهم تصاویر و متن را بهتر درک کند.
2. جفت‌شدگی قوی بین پرامپت‌ها: MaPLe یک مکانیسم جفت‌شدگی قوی بین پرامپت‌های بینایی و زبانی ایجاد می‌کند. این مکانیسم تضمین می‌کند که پرامپت‌ها به طور مستقل از یکدیگر یاد گرفته نمی‌شوند، بلکه با هم تعامل دارند و یکدیگر را تقویت می‌کنند.
3. یادگیری پرامپت‌های مرحله‌ای: MaPLe پرامپت‌های جداگانه‌ای را در مراحل اولیه مختلف مدل یاد می‌گیرد. این کار به مدل اجازه می‌دهد تا روابط بین ویژگی‌ها را در مراحل مختلف یادگیری مدل‌سازی کند و در نتیجه، درک عمیق‌تری از داده‌ها داشته باشد.

برای ارزیابی عملکرد MaPLe، نویسندگان از سه وظیفه نماینده استفاده کرده‌اند:

• تعمیم به کلاس‌های جدید: در این وظیفه، مدل باید تصاویری از کلاس‌هایی را که در طول آموزش ندیده است، به درستی طبقه‌بندی کند.
• مجموعه‌داده‌های هدف جدید: در این وظیفه، مدل باید بر روی مجموعه‌داده‌هایی که با مجموعه‌داده‌های آموزشی متفاوت هستند، عملکرد خوبی داشته باشد.
• تغییرات دامنه دیده‌نشده: در این وظیفه، مدل باید در شرایطی که توزیع داده‌ها با توزیع داده‌های آموزشی متفاوت است، عملکرد خوبی داشته باشد.

نتایج تجربی نشان می‌دهد که MaPLe عملکرد بهتری نسبت به روش‌های پیشین دارد. به طور خاص، MaPLe در وظیفه تعمیم به کلاس‌های جدید، به یک سود مطلق 3.45٪ و در میانگین هارمونیک کلی، به یک سود 2.72٪ دست یافته است. این نتایج نشان می‌دهد که MaPLe می‌تواند به طور موثری عملکرد مدل‌های بینایی-زبانی را در وظایف مختلف بهبود بخشد.

برخی از یافته‌های کلیدی این مقاله عبارتند از:

• MaPLe عملکرد بهتری نسبت به روش‌های تک‌وجهی دارد: یادگیری پرامپت‌ها هم در شاخه بینایی و هم در شاخه زبانی، منجر به عملکرد بهتری نسبت به یادگیری پرامپت‌ها فقط در یک شاخه می‌شود.
• جفت‌شدگی قوی بین پرامپت‌ها ضروری است: ایجاد یک مکانیسم جفت‌شدگی قوی بین پرامپت‌های بینایی و زبانی، به مدل کمک می‌کند تا ارتباط بهتری بین تصاویر و متن برقرار کند.
• یادگیری پرامپت‌های مرحله‌ای مفید است: یادگیری پرامپت‌های جداگانه در مراحل مختلف مدل، به مدل کمک می‌کند تا روابط بین ویژگی‌ها را در سطوح مختلف درک کند.

دستاورد اصلی این مقاله، ارائه روش MaPLe برای بهبود عملکرد مدل‌های بینایی-زبانی است. این روش می‌تواند در کاربردهای مختلفی مورد استفاده قرار گیرد، از جمله:

• طبقه‌بندی تصاویر: MaPLe می‌تواند برای بهبود دقت طبقه‌بندی تصاویر، به ویژه در شرایطی که کلاس‌های جدیدی وجود دارند، استفاده شود. به عنوان مثال، می‌توان از MaPLe برای طبقه‌بندی تصاویر پزشکی به انواع مختلف بیماری‌ها استفاده کرد.
• تولید توضیحات تصویری: MaPLe می‌تواند برای تولید توضیحات دقیق‌تر و مرتبط‌تر برای تصاویر استفاده شود. برای مثال، می‌توان از MaPLe برای تولید توضیحات خودکار برای تصاویر موجود در یک وب‌سایت تجارت الکترونیک استفاده کرد.
• جستجوی تصاویر بر اساس متن: MaPLe می‌تواند برای بهبود دقت جستجوی تصاویر بر اساس متن استفاده شود. برای مثال، می‌توان از MaPLe برای یافتن تصاویری که با یک عبارت جستجو مطابقت دارند، در یک پایگاه داده بزرگ از تصاویر استفاده کرد.

علاوه بر این، کد و مدل‌های پیش‌آموزش‌دیده MaPLe به صورت متن‌باز در دسترس هستند، که این امر به محققان و توسعه‌دهندگان دیگر اجازه می‌دهد تا از این روش در پروژه‌های خود استفاده کنند.

مقاله “MaPLe: یادگیری پرامپت چندوجهی” یک گام مهم در جهت بهبود عملکرد مدل‌های بینایی-زبانی است. این مقاله با ارائه یک روش نوین برای یادگیری پرامپت‌ها، نشان می‌دهد که می‌توان عملکرد این مدل‌ها را در وظایف مختلف بهبود بخشید و آن‌ها را کمتر به انتخاب دقیق پرامپت‌های متنی وابسته کرد. یافته‌های این مقاله می‌تواند در کاربردهای مختلفی مورد استفاده قرار گیرد و به پیشرفت در زمینه‌های بینایی کامپیوتر و یادگیری ماشین کمک کند. در نهایت، در دسترس بودن کد و مدل‌های پیش‌آموزش‌دیده MaPLe، این امکان را برای جامعه علمی فراهم می‌کند تا از این روش در تحقیقات و پروژه‌های خود بهره‌مند شوند و گامی در جهت توسعه هر چه بیشتر این حوزه بردارند.