در دنیای پرشتاب هوش مصنوعی، مدل‌های پیشرفته‌ای ظهور کرده‌اند که قادر به درک و پردازش همزمان اطلاعات بصری (تصاویر) و متنی (زبان) هستند. این مدل‌ها که با نام «مدل‌های بینایی-زبانی» (Vision-Language Models) شناخته می‌شوند، پتانسیل عظیمی برای تحول در طیف وسیعی از کاربردها دارند. اما دستیابی به حداکثر توانایی این مدل‌ها، به‌ویژه در وظایف خاص، چالش‌هایی را نیز به همراه دارد. مقاله حاضر با عنوان «آموزشِ ساختِ درخواست برای مدل‌های بینایی-زبانی» (Learning to Prompt for Vision-Language Models)، به یکی از این چالش‌های کلیدی پرداخته و راهکاری نوین برای غلبه بر آن ارائه می‌دهد.

مدل‌های بزرگ پیش‌آموزش‌دیده مانند CLIP (Contrastive Language–Image Pre-training) قابلیت‌های چشمگیری در یادگیری بازنمایی‌هایی (representations) از داده‌ها دارند که به‌راحتی قابل انتقال به وظایف پایین‌دستی (downstream tasks) مختلف هستند. برخلاف روش‌های سنتی یادگیری بازنمایی که عمدتاً برچسب‌های گسسته (discretized labels) را فرض می‌کنند، پیش‌آموزش بینایی-زبانی، تصاویر و متون را در یک فضای ویژگی مشترک هم‌تراز می‌کند. این هم‌ترازی امکان انتقال بدون نیاز به تنظیم دقیق (zero-shot transfer) به یک وظیفه پایین‌دستی را از طریق «ساخت درخواست» (prompting) فراهم می‌سازد. در این رویکرد، وزن‌های طبقه‌بندی از توصیفات زبان طبیعی کلاس‌های مورد نظر سنتز می‌شوند.

با این حال، مقاله پیش رو اشاره می‌کند که یکی از چالش‌های اصلی در به‌کارگیری عملی این مدل‌ها، «مهندسی درخواست» (prompt engineering) است. این فرآیند نیازمند تخصص دامنه (domain expertise) و صرف زمان بسیار زیادی است. لازم است زمان قابل توجهی صرف تنظیم کلمات شود، چرا که تغییر اندکی در نحوه بیان یک درخواست می‌تواند تأثیر عظیمی بر عملکرد مدل داشته باشد.

اهمیت این مقاله در ارائه راهکاری است که این فرآیند زمان‌بر و پرهزینه را تسهیل و بهینه‌سازی می‌کند. با یافتن روشی برای «یادگیری» ساخت درخواست‌ها، می‌توانیم بهره‌وری مدل‌های بینایی-زبانی را به طور چشمگیری افزایش دهیم و دسترسی به قابلیت‌های آن‌ها را برای طیف وسیع‌تری از کاربران و کاربردها هموار سازیم.

این مقاله توسط گروهی از پژوهشگران برجسته در حوزه بینایی ماشین و هوش مصنوعی به نام‌های Kaiyang Zhou، Jingkang Yang، Chen Change Loy و Ziwei Liu نگاشته شده است. حوزه تحقیق اصلی این پژوهش، تقاطع بین «بینایی ماشین» (Computer Vision)، «یادگیری ماشین» (Machine Learning) و «پردازش زبان طبیعی» (Natural Language Processing) است، با تمرکز ویژه بر مدل‌های بینایی-زبانی و نحوه تعامل مؤثر با آن‌ها.

این مقاله در دسته «بینایی ماشین و تشخیص الگو» (Computer Vision and Pattern Recognition)، «هوش مصنوعی» (Artificial Intelligence) و «یادگیری ماشین» (Machine Learning) قرار می‌گیرد، که نشان‌دهنده جایگاه آن در پیشرفته‌ترین تحقیقات این رشته‌ها است.

مدل‌های بزرگ پیش‌آموزش‌دیده مانند CLIP، توانایی قابل توجهی در یادگیری بازنمایی‌های قابل انتقال به وظایف پایین‌دستی مختلف نشان داده‌اند. این مدل‌ها با هم‌ترازی تصاویر و متون در یک فضای ویژگی مشترک، امکان طبقه‌بندی بدون نیاز به داده‌های آموزشی برچسب‌دار فراوان را از طریق ساخت درخواست‌های متنی فراهم می‌کنند.

با این حال، مهندسی درخواست، که شامل تنظیم دقیق کلمات و عبارات برای دستیابی به بهترین عملکرد است، فرآیندی دشوار، زمان‌بر و نیازمند تخصص است. یک تغییر کوچک در جمله درخواست می‌تواند نتایج را به شدت تحت تأثیر قرار دهد.

الهام گرفته از پیشرفت‌های اخیر در زمینه یادگیری درخواست در پردازش زبان طبیعی، نویسندگان رویکردی به نام Context Optimization (CoOp) را پیشنهاد کرده‌اند. CoOp یک روش ساده برای انطباق مدل‌های بینایی-زبانی مشابه CLIP برای وظایف تشخیص تصویر پایین‌دستی است.

در این روش، کلمات متنی درخواست به صورت بردارهای قابل یادگیری (learnable vectors) مدل‌سازی می‌شوند، در حالی که پارامترهای کل مدل پیش‌آموزش‌دیده ثابت نگه داشته می‌شوند. برای انطباق با وظایف مختلف تشخیص تصویر، دو پیاده‌سازی از CoOp ارائه شده است: بافت یکپارچه (unified context) و بافت مختص کلاس (class-specific context).

آزمایش‌های گسترده بر روی ۱۱ مجموعه داده نشان داده است که CoOp با استفاده از تنها یک یا دو نمونه (one or two shots) می‌تواند بر درخواست‌های دستی‌ساز (hand-crafted prompts) با حاشیه قابل توجهی برتری یابد. این رویکرد همچنین بهبودهای قابل توجهی نسبت به مهندسی درخواست سنتی با تعداد نمونه‌های بیشتر ارائه می‌دهد؛ برای مثال، با ۱۶ نمونه، میانگین افزایش عملکرد حدود ۱۵% (و در برخی موارد بیش از ۴۵%) بوده است. علی‌رغم اینکه CoOp یک رویکرد مبتنی بر یادگیری است، عملکرد تعمیم دامنه (domain generalization) فوق‌العاده‌ای را در مقایسه با مدل بدون نیاز به تنظیم دقیق (zero-shot model) با درخواست‌های دستی‌ساز نشان می‌دهد.

روش‌شناسی کلیدی این پژوهش بر پایه رویکرد Context Optimization (CoOp) استوار است. ایده اصلی CoOp جایگزینی مهندسی دستی درخواست‌ها با یادگیری خودکار آن‌هاست.

پارامترهای ثابت مدل پیش‌آموزش‌دیده: برخلاف روش‌های سنتی فاین-تیونینگ (fine-tuning) که کل پارامترهای مدل را برای هر وظیفه جدید آموزش می‌دهند، CoOp کل پارامترهای مدل پیش‌آموزش‌دیده (مانند CLIP) را ثابت نگه می‌دارد. این رویکرد باعث صرفه‌جویی قابل توجهی در منابع محاسباتی و حافظه می‌شود و از پدیده «فراموشی فاجعه‌بار» (catastrophic forgetting) جلوگیری می‌کند.

یادگیری بردارهای زمینه (Context Vectors): به جای کدگذاری معنای کلاس‌ها با کلمات طبیعی ثابت، CoOp یک مجموعه از بردارهای قابل یادگیری را به عنوان «زمینه» (context) در نظر می‌گیرد. این بردارها به صورت مستقیم در فضای ویژگی مدل، آموزش داده می‌شوند. به عبارت دیگر، به جای یافتن بهترین کلمات برای توصیف کلاس «سگ»، ما بردارهایی را یاد می‌گیریم که به طور مؤثرتری معنای «سگ» را در زمینه مدل بازنمایی می‌کنند.

ساختار درخواست: یک درخواست معمولی در مدل‌هایی مانند CLIP به شکل “a photo of a {class_name}” است. CoOp این ساختار را تغییر می‌دهد. به عنوان مثال، در حالت بافت یکپارچه (unified context)، یک یا چند بردار قابل یادگیری برای توصیف کلی وظیفه یا کلاس‌ها استفاده می‌شود و جایگزین قسمت‌هایی از جمله متنی می‌شود. در حالت بافت مختص کلاس (class-specific context)، هر کلاس دارای مجموعه بردارهای زمینه منحصربه‌فرد خود است.

فرایند آموزش: آموزش CoOp بسیار سبک است. تنها بخش کوچکی از پارامترها (بردارهای زمینه) نیاز به آموزش دارند. این آموزش با استفاده از داده‌های برچسب‌دار اندک (few-shot learning) برای وظیفه مورد نظر انجام می‌شود. وظیفه اصلی آموزش، این است که بردارهای زمینه آموخته شده، به گونه‌ای باشند که نمونه‌های تصویر متعلق به یک کلاس، امتیاز بالاتری در مقایسه با نمونه‌های کلاس‌های دیگر در فضای ویژگی مشترک با متن (حاوی بردارهای زمینه) کسب کنند.

ارزیابی: اثربخشی CoOp با آزمایش‌های گسترده بر روی ۱۱ مجموعه داده تصویر متنوع ارزیابی شده است. عملکرد آن با روش‌های مختلفی از جمله:

• Zero-shot با درخواست‌های دستی‌ساز: عملکرد مدل CLIP بدون هیچ‌گونه آموزش اضافی برای وظیفه جدید، با استفاده از درخواست‌های متنی که توسط انسان تنظیم شده‌اند.
• Few-shot با مهندسی درخواست: عملکرد مدل با استفاده از تعداد کمی داده برچسب‌دار، که در آن همچنان از درخواست‌های دستی‌ساز استفاده می‌شود.
• CoOp (با unified و class-specific context): عملکرد رویکرد پیشنهادی با تعداد نمونه‌های کم (مانند ۱، ۲، ۸، ۱۶).

معیارهای ارزیابی معمولاً شامل دقت طبقه‌بندی (classification accuracy) در این مجموعه‌های داده است.

نتایج حاصل از آزمایش‌های گسترده، برتری و کارایی رویکرد CoOp را به وضوح نشان می‌دهد:

• عملکرد برتر با داده‌های کم: CoOp قادر است با استفاده از تنها یک یا دو نمونه (one or two shots)، عملکردی بهتر از درخواست‌های دستی‌ساز که توسط متخصصان تنظیم شده‌اند، ارائه دهد. این قابلیت، آن را به ابزاری ایده‌آل برای سناریوهایی تبدیل می‌کند که دسترسی به داده‌های برچسب‌دار محدود است.
• بهبود قابل توجه نسبت به مهندسی درخواست: حتی با تعداد نمونه‌های بیشتر، CoOp همچنان مزیت قابل توجهی نسبت به مهندسی سنتی درخواست نشان می‌دهد. به عنوان مثال، با ۱۶ نمونه، میانگین افزایش دقت حدود ۱۵% بوده و در برخی موارد این افزایش به بیش از ۴۵% نیز رسیده است. این نشان‌دهنده توانایی CoOp در کشف بازنمایی‌های بهینه است که انسان‌ها ممکن است به سادگی به آن‌ها دست نیابند.
• تعمیم دامنه عالی: علی‌رغم اینکه CoOp یک روش یادگیری است، اما توانایی تعمیم دامنه (domain generalization) فوق‌العاده‌ای از خود نشان می‌دهد. این بدان معناست که مدل آموزش‌دیده با CoOp، در مواجهه با داده‌هایی از دامنه‌های کمی متفاوت (مثلاً تصاویر حیوانات خانگی در مقابل تصاویر طبیعت)، عملکرد قوی خود را حفظ می‌کند. این در مقایسه با مدل‌های Zero-shot که صرفاً بر درخواست‌های دستی‌ساز تکیه دارند، یک مزیت بزرگ است.
• کارایی محاسباتی: از آنجایی که پارامترهای مدل پیش‌آموزش‌دیده ثابت می‌مانند، CoOp نیازمند منابع محاسباتی بسیار کمتری برای آموزش نسبت به فاین-تیونینگ کامل مدل است. این امر، آن را برای استفاده عملی در مقیاس بزرگ و بر روی دستگاه‌های با توان پردازشی محدود، بسیار جذاب می‌سازد.
• قابلیت انطباق: ارائه دو نوع پیاده‌سازی (unified و class-specific context) انعطاف‌پذیری CoOp را افزایش می‌دهد و امکان انتخاب بهترین رویکرد را بسته به ساختار وظیفه و داده‌های موجود فراهم می‌کند.

دستاورد اصلی این مقاله، ارائه یک روش علمی و عملی برای بهبود تعامل با مدل‌های قدرتمند بینایی-زبانی است. CoOp پیامدهای قابل توجهی برای طیف وسیعی از کاربردها دارد:

• طبقه‌بندی تصاویر: اصلی‌ترین کاربرد، بهبود دقت و کارایی در وظایف طبقه‌بندی تصاویر است. این می‌تواند شامل تشخیص اشیاء، صحنه‌ها، حیوانات، محصولات و هر چیز دیگری باشد که بتوان آن را با متن توصیف کرد.
• جستجوی تصویر معنایی: با درک بهتر ارتباط بین تصاویر و توصیفات متنی، می‌توان سیستم‌های جستجوی تصویر بسیار قدرتمندتری ایجاد کرد که قادر به درک معنای عمیق‌تر درخواست‌های کاربر هستند.
• سیستم‌های پرسش و پاسخ بصری (Visual Question Answering – VQA): این رویکرد می‌تواند به مدل‌ها کمک کند تا پاسخ‌های دقیق‌تری به سوالاتی که درباره محتوای تصاویر پرسیده می‌شود، ارائه دهند.
• برچسب‌گذاری خودکار تصاویر: CoOp می‌تواند فرآیند برچسب‌گذاری تصاویر را برای پایگاه‌های داده بزرگ خودکارتر و دقیق‌تر کند.
• تولید محتوای بصری: در آینده، این رویکرد می‌تواند در سیستم‌هایی که محتوای بصری را بر اساس توضیحات متنی تولید می‌کنند، نقش داشته باشد.
• افزایش دسترسی به هوش مصنوعی: با کاهش نیاز به تخصص عمیق در مهندسی درخواست، CoOp به توسعه‌دهندگان و محققان بیشتری اجازه می‌دهد تا از قدرت مدل‌های بینایی-زبانی بهره‌مند شوند.

به طور خلاصه، CoOp نه تنها از نظر علمی یک گام مهم محسوب می‌شود، بلکه کاربردهای عملی گسترده‌ای دارد که می‌تواند منجر به توسعه نسل جدیدی از برنامه‌های کاربردی هوش مصنوعی شود.

مقاله «آموزشِ ساختِ درخواست برای مدل‌های بینایی-زبانی» با معرفی رویکرد Context Optimization (CoOp)، راه حلی نوآورانه و کارآمد برای چالش دیرینه مهندسی درخواست در مدل‌های بینایی-زبانی ارائه می‌دهد. با جایگزینی جستجوی دستی و زمان‌بر کلمات مناسب با یادگیری خودکار بردارهای زمینه، CoOp امکان دستیابی به عملکرد برجسته را با استفاده از داده‌های آموزشی بسیار کم فراهم می‌آورد.

یافته‌های کلیدی این پژوهش، شامل بهبود قابل توجه عملکرد نسبت به روش‌های دستی، تعمیم دامنه قوی، و کارایی محاسباتی بالا، CoOp را به یک روش قدرتمند و جذاب برای انطباق مدل‌های بزرگ بینایی-زبانی با وظایف جدید تبدیل می‌کند.

این تحقیق نه تنها درک ما را از نحوه تعامل با این مدل‌ها عمیق‌تر می‌کند، بلکه مسیر را برای توسعه کاربردهای پیچیده‌تر و کاربرپسندتر هوش مصنوعی در حوزه‌هایی چون بینایی ماشین و پردازش زبان طبیعی هموار می‌سازد. CoOp نمایانگر گامی مهم به سوی ایجاد سیستم‌های هوش مصنوعی است که نه تنها قدرتمند، بلکه دسترس‌پذیر و قابل انطباق نیز هستند.