۱. معرفی مقاله و اهمیت آن

در سالیان اخیر، آموزش مدل‌های بنیادین بینایی (Vision Foundation Models) تحت سلطه روش‌های آموزش تصویر-متن نظیر CLIP قرار گرفته است. این مدل‌ها با یادگیری ارتباطات بین داده‌های بصری و توصیفات متنی، قابلیت‌های تعمیم‌پذیری بی‌نظیری را از خود نشان داده‌اند. با این حال، تلاش‌های بعدی برای افزودن یادگیری بصری در سطح ناحیه (region-level) به پیش‌آموزش این مدل‌ها، به دلیل کمبود مجموعه‌داده‌های بزرگ در سطح ناحیه، با چالش‌های مقیاس‌پذیری مواجه شده‌اند.

مقاله حاضر با عنوان “Supervised Fine-tuning in turn Improves Visual Foundation Models” (بهبود مدل‌های بنیادین بصری با تنظیم دقیق تحت نظارت)، یک رویکرد نوین را برای ارتقاء عملکرد این مدل‌ها پس از مرحله پیش‌آموزش پیشنهاد می‌کند. با الهام از تنظیم دقیق تحت نظارت (SFT) در پردازش زبان‌های طبیعی (NLP) – که در آن مدل‌ها با دستورالعمل‌های خاصی تنظیم می‌شوند تا وظایف خاصی را با دقت بیشتری انجام دهند – محققان پتانسیل SFT ریزدانه (fine-grained) را در بهبود قابلیت‌های تولیدی مدل‌های بنیادین بینایی بررسی کرده‌اند. این پژوهش نه تنها یک روش کارآمد برای استخراج دانش نهفته و ریزدانه از مدل‌های عظیم بینایی ارائه می‌دهد، بلکه راه را برای کاربردهای وسیع‌تر و دقیق‌تر این مدل‌ها در دنیای واقعی هموار می‌کند. اهمیت این مقاله در آن است که با ارائه ViSFT، راهکاری عملی و مقیاس‌پذیر برای چالش‌های موجود در یادگیری بصری در سطح ناحیه فراهم می‌آورد و موجب می‌شود مدل‌های بنیادین بینایی بتوانند وظایف پیچیده‌تر و خاص‌تری را با دقت بیشتری انجام دهند.

۲. نویسندگان و زمینه تحقیق

این مقاله توسط تیمی از محققان برجسته شامل Xiaohu Jiang, Yixiao Ge, Yuying Ge, Dachuan Shi, Chun Yuan, و Ying Shan نگارش شده است. این نویسندگان در زمینه هوش مصنوعی و بینایی کامپیوتر فعالیت می‌کنند و سوابق قابل توجهی در توسعه و بهبود مدل‌های یادگیری عمیق دارند.

زمینه تحقیق این مقاله عمیقاً با بینایی کامپیوتر (Computer Vision) و هوش مصنوعی (Artificial Intelligence) گره خورده است. به‌طور خاص، تمرکز بر روی مدل‌های بنیادین (Foundation Models) است که در سال‌های اخیر به دلیل توانایی‌های تعمیم‌پذیری و عملکرد فوق‌العاده در طیف وسیعی از وظایف، به کانون توجه تبدیل شده‌اند. این مدل‌ها، که معمولاً با حجم عظیمی از داده‌ها آموزش می‌بینند، می‌توانند به عنوان پایه‌ای برای انجام وظایف خاص‌تر با تنظیم دقیق مورد استفاده قرار گیرند. پژوهش حاضر در تقاطع بین یادگیری چندوجهی (multimodal learning)، به‌ویژه ترکیب تصویر و متن، و روش‌های بهینه‌سازی مدل‌های عظیم قرار دارد. نیاز به توسعه روش‌هایی برای “باز کردن قفل” دانش ریزدانه در این مدل‌ها، بدون نیاز به پیش‌آموزش مجدد پرهزینه، محرک اصلی این تحقیق بوده است. با توجه به رشد روزافزون پیچیدگی مدل‌ها و نیاز به دقت بالاتر در کاربردهای حساس، این زمینه از تحقیق از اهمیت حیاتی برخوردار است.

۳. چکیده و خلاصه محتوا

چکیده مقاله به روشنی به مشکل اصلی و راه‌حل پیشنهادی می‌پردازد. مدل‌های بنیادین بینایی که با روش‌های تصویر-متن (مانند CLIP) پیش‌آموزش دیده‌اند، در یادگیری بصری در سطح منطقه با مشکل مواجه‌اند. این مشکل از نبود مجموعه‌داده‌های بزرگ و مقیاس‌پذیر در سطح ناحیه ناشی می‌شود. نویسندگان با الهام از تنظیم دقیق تحت نظارت (SFT) در پردازش زبان طبیعی (مانند تنظیم دستورالعمل)، پتانسیل SFT ریزدانه را در افزایش قابلیت‌های تولیدی مدل‌های بنیادین بینایی پس از پیش‌آموزش بررسی می‌کنند.

راه‌حل پیشنهادی، روشی دو مرحله‌ای به نام ViSFT (Vision SFT) است که برای فعال‌سازی دانش ریزدانه مدل‌های بنیادین بینایی طراحی شده است. در ViSFT، مدل بنیادین بینایی ابتدا از طریق یادگیری مشترک بصری (visual joint learning) بر روی برخی وظایف درون‌دامنه (in-domain) تقویت می‌شود. این مرحله به مدل امکان می‌دهد تا مفاهیم بصری ریزدانه را درک کند. سپس، عملکرد مدل بر روی معیارهای خارج از دامنه (out-of-domain benchmarks) مختلف مورد آزمایش قرار می‌گیرد تا تعمیم‌پذیری و اثربخشی آن ارزیابی شود. نتایج نشان می‌دهند که با استفاده از ViSFT، یک ترانسفورمر بینایی با بیش از ۴.۴ میلیارد پارامتر، که با استفاده از ۸ پردازنده گرافیکی V100 در کمتر از ۲ روز به‌روزرسانی شده، بهبودهایی را در طیف وسیعی از معیارهای خارج از دامنه، از جمله در سناریوهای صرفاً بینایی و همچنین سناریوهای بینایی-زبانی، نشان می‌دهد. این دستاورد، اثربخشی تنظیم دقیق تحت نظارت را در بهبود قابل توجه مدل‌های بنیادین بصری تأیید می‌کند.

۴. روش‌شناسی تحقیق

روش‌شناسی پیشنهاد شده در این تحقیق بر پایه ViSFT (Vision Supervised Fine-tuning) استوار است که یک رویکرد دو مرحله‌ای برای بهبود مدل‌های بنیادین بینایی ارائه می‌دهد. این رویکرد به منظور آزاد کردن دانش ریزدانه (fine-grained knowledge) نهفته در این مدل‌ها طراحی شده است:

• مرحله اول: یادگیری مشترک بصری بر روی وظایف درون‌دامنه (In-domain Visual Joint Learning)

  در این مرحله، مدل بنیادین بینایی که قبلاً با حجم عظیمی از داده‌های تصویر-متن پیش‌آموزش دیده است، تحت یک فرآیند تنظیم دقیق تحت نظارت (SFT) قرار می‌گیرد. هدف، آموزش مدل بر روی مجموعه‌ای از وظایف بصری خاص و ریزدانه است که به عنوان وظایف درون‌دامنه تعریف می‌شوند. این وظایف می‌توانند شامل موارد زیر باشند:

  • تشخیص اشیاء (Object Detection): آموزش مدل برای شناسایی و محلی‌سازی اشیاء خاص در تصاویر با استفاده از جعبه‌های مرزی.
  • تقسیم‌بندی معنایی/نمونه‌ای (Semantic/Instance Segmentation): آموزش مدل برای تخصیص هر پیکسل از تصویر به یک دسته معنایی یا به یک نمونه خاص از یک شیء.
  • توضیح تصویر (Image Captioning): تولید توضیحات متنی دقیق برای محتوای یک تصویر.
  • پرسش و پاسخ بصری (Visual Question Answering – VQA): پاسخ دادن به سوالات متنی درباره محتوای یک تصویر.

  این یادگیری مشترک به مدل کمک می‌کند تا نمایش‌های بصری خود را با جزئیات بیشتری تنظیم کند و دانش ریزدانه در مورد ویژگی‌ها و روابط بصری را جذب کند. داده‌های استفاده شده در این مرحله دارای برچسب‌های دقیق در سطح ناحیه (region-level) هستند که امکان آموزش تحت نظارت را فراهم می‌آورد. این رویکرد شبیه به “تنظیم دستورالعمل” در NLP است که در آن مدل‌ها برای دنبال کردن دستورالعمل‌های خاص آموزش داده می‌شوند تا عملکردشان در وظایف خاص بهبود یابد.

• مرحله دوم: ارزیابی بر روی معیارهای خارج از دامنه (Out-of-domain Benchmarks Evaluation)

  پس از مرحله تنظیم دقیق، عملکرد مدل تقویت‌شده ViSFT بر روی مجموعه‌ای از معیارهای خارج از دامنه ارزیابی می‌شود. این معیارها شامل وظایف متنوع بینایی و بینایی-زبانی هستند که مدل در طول مرحله اول به طور مستقیم بر روی آن‌ها آموزش ندیده است. هدف از این ارزیابی، سنجش توانایی تعمیم‌پذیری مدل و بررسی اینکه آیا دانش ریزدانه کسب شده در مرحله اول، به بهبود عملکرد در سناریوهای جدید و ناشناخته منجر شده است یا خیر. نمونه‌هایی از این معیارها می‌توانند شامل ImageNet برای طبقه‌بندی، COCO برای تشخیص و تقسیم‌بندی، و انواع مختلف VQA datasets برای وظایف بینایی-زبانی باشند.

برای پیاده‌سازی این روش، از یک ترانسفورمر بینایی (Vision Transformer) با بیش از ۴.۴ میلیارد پارامتر استفاده شده است که نشان‌دهنده مقیاس و پیچیدگی مدل بنیادین مورد بررسی است. فرآیند به‌روزرسانی مدل با استفاده از ۸ پردازنده گرافیکی NVIDIA V100 در کمتر از ۲ روز انجام شده است. این سرعت بالا در تنظیم دقیق نشان‌دهنده کارایی روش پیشنهادی است و نشان می‌دهد که می‌توان مدل‌های عظیم را بدون نیاز به منابع محاسباتی بسیار زیاد، برای وظایف خاص‌تر تنظیم کرد. استفاده از منابع محاسباتی قدرتمند امکان انجام آزمایشات گسترده و بررسی اثربخشی روش را در زمان معقول فراهم آورده است.

۵. یافته‌های کلیدی

یافته‌های این تحقیق به وضوح نشان‌دهنده موفقیت رویکرد ViSFT در بهبود عملکرد مدل‌های بنیادین بینایی هستند. مهمترین یافته‌ها شامل موارد زیر است:

• بهبود سیستماتیک در معیارهای خارج از دامنه: مدل تقویت شده با ViSFT، بهبودهای قابل توجهی را در طیف وسیعی از معیارهای خارج از دامنه نشان داده است. این بهبودها نه تنها محدود به وظایفی نیستند که مدل در مرحله تنظیم دقیق بر روی آن‌ها آموزش دیده بود، بلکه به وظایف کاملاً جدید و ناشناخته نیز تعمیم پیدا می‌کنند. این امر مؤید توانایی ViSFT در بهبود قابلیت‌های تعمیم‌پذیری و استخراج دانش عمیق‌تر از مدل است.

  به عنوان مثال، در وظایفی مانند تشخیص اشیاء (Object Detection)، مدل قادر است اشیاء را با دقت بیشتری در تصاویر پیچیده شناسایی کند، حتی اگر این اشیاء در موقعیت‌های غیرمنتظره یا با پس‌زمینه‌های متفاوت ظاهر شوند. در تقسیم‌بندی معنایی (Semantic Segmentation)، دقت در مرزبندی بین کلاس‌های مختلف و تفکیک اجزای ریزتر تصویر افزایش یافته است.

• بهبود در سناریوهای بینایی و بینایی-زبانی: دستاوردهای ViSFT در هر دو دسته سناریوهای صرفاً بینایی (مانند طبقه‌بندی تصویر، تشخیص اشیاء) و سناریوهای بینایی-زبانی (vision-linguistic) (مانند توضیح تصویر و پرسش و پاسخ بصری) مشاهده شده است. این یافته نشان می‌دهد که تنظیم دقیق تحت نظارت نه تنها توانایی مدل را در درک بصری بهبود می‌بخشد، بلکه ظرفیت آن را برای پردازش و تولید اطلاعات متنی مرتبط با تصاویر نیز ارتقا می‌دهد.

  مثلاً، در تولید توضیحات تصویر (Image Captioning)، مدل قادر است توضیحات دقیق‌تر، جامع‌تر و طبیعی‌تری ارائه دهد که نه تنها اشیاء موجود در تصویر را نام می‌برد، بلکه روابط بین آن‌ها و حتی اعمال در حال وقوع را نیز توصیف می‌کند. در پرسش و پاسخ بصری (VQA)، پاسخ‌های مدل به سوالات پیچیده و مفهومی درباره تصاویر، منطقی‌تر و مرتبط‌تر شده‌اند.

• اثربخشی استخراج دانش ریزدانه: این پژوهش نشان می‌دهد که تنظیم دقیق تحت نظارت (SFT) می‌تواند به طور مؤثری دانش ریزدانه را از مدل‌های بنیادین عظیم استخراج کند. این دانش، که در مرحله پیش‌آموزش به دلیل عدم وجود داده‌های کافی در سطح ناحیه به طور کامل فعال نشده بود، اکنون با کمک داده‌های برچسب‌دار هدفمند، به سطح کاربردی رسیده است.

• کارایی محاسباتی: با وجود مقیاس عظیم مدل (۴.۴ میلیارد پارامتر)، فرآیند تنظیم دقیق با استفاده از ۸ پردازنده گرافیکی V100 در کمتر از ۲ روز تکمیل شده است. این کارایی محاسباتی بسیار مهم است، زیرا امکان به‌روزرسانی و تطبیق سریع مدل‌های بنیادین را برای کاربردهای جدید و متنوع فراهم می‌کند بدون نیاز به صرف هفته‌ها یا ماه‌ها زمان و منابع.

این یافته‌ها در مجموع تأیید می‌کنند که ViSFT یک روش کارآمد و مقیاس‌پذیر برای ارتقاء قابلیت‌های مدل‌های بنیادین بینایی است، و راه را برای توسعه نسل جدیدی از سیستم‌های هوشمند بینایی با دقت و تعمیم‌پذیری بالا هموار می‌کند.

۶. کاربردها و دستاوردها

دستاورد اصلی این پژوهش، یعنی بهبود مدل‌های بنیادین بصری از طریق ViSFT، پیامدهای عمیق و کاربردهای وسیعی در حوزه‌های مختلف هوش مصنوعی و فراتر از آن دارد. این روش به مدل‌های بنیادین امکان می‌دهد تا به طور مؤثرتر و دقیق‌تر در سناریوهای واقعی عمل کنند:

• بینایی ماشین پیشرفته برای خودروهای خودران: با بهبود دقت در تشخیص و تقسیم‌بندی اشیاء (Object Detection and Segmentation)، خودروهای خودران می‌توانند موانع، عابران پیاده، علائم راهنمایی و رانندگی و سایر وسایل نقلیه را با اطمینان بیشتری شناسایی کنند. این امر به افزایش ایمنی و کارایی سیستم‌های رانندگی خودکار کمک شایانی می‌کند. به عنوان مثال، توانایی مدل در تشخیص دقیق خطوط جاده، علائم ریز و حتی حالات چهره عابرین پیاده، می‌تواند به تصمیم‌گیری‌های هوشمندانه‌تر منجر شود.

• تشخیص پزشکی و تصویربرداری: در زمینه پزشکی، مدل‌های بهبود یافته می‌توانند به پزشکان در تشخیص دقیق‌تر بیماری‌ها از طریق تحلیل تصاویر رادیولوژی، سی‌تی‌اسکن، MRI و پاتولوژی کمک کنند. توانایی مدل در شناسایی ناهنجاری‌های ریز، تومورها یا سایر نشانگرهای بیماری با دقت بالا، می‌تواند به تشخیص زودهنگام و درمان مؤثرتر منجر شود. مثلاً، تشخیص زودهنگام سلول‌های سرطانی در تصاویر میکروسکوپی.

• تولید محتوا و ویرایش تصویر: قابلیت‌های تولیدی بهبود یافته در سناریوهای بینایی-زبانی، مانند تولید توضیحات دقیق تصویر (Image Captioning) و پرسش و پاسخ بصری (VQA)، می‌تواند به ابزارهای ویرایش تصویر و تولید محتوا کمک کند. این مدل‌ها می‌توانند به طراحان و توسعه‌دهندگان در تولید خودکار توضیحات متا برای تصاویر، بهبود قابلیت جستجو، یا حتی ایجاد محتوای بصری جدید بر اساس توصیفات متنی کمک کنند.

• رباتیک و اتوماسیون صنعتی: ربات‌ها می‌توانند با درک بهتر محیط خود، کارهای پیچیده‌تری را انجام دهند. مدل‌های بهبود یافته می‌توانند به ربات‌ها کمک کنند تا اشیاء را در محیط‌های نامنظم شناسایی و دستکاری کنند، یا در خطوط تولید به بازرسی کیفیت محصولات بپردازند. به عنوان مثال، یک ربات مونتاژکننده می‌تواند قطعات کوچک و پیچیده را با دقت بسیار بالا تشخیص داده و در جای صحیح قرار دهد.

• نظارت و امنیت: در سیستم‌های نظارتی، تشخیص دقیق فعالیت‌های مشکوک، شناسایی افراد یا اشیاء گمشده، و تحلیل رویدادهای امنیتی می‌تواند به طور چشمگیری بهبود یابد. توانایی مدل در تشخیص جزئیات ریز در ویدئوهای نظارتی، به واکنش سریع‌تر و مؤثرتر کمک می‌کند.

• تجارت الکترونیک و جستجوی بصری: در پلتفرم‌های تجارت الکترونیک، ViSFT می‌تواند به جستجوی بصری (Visual Search) دقیق‌تر محصولات، دسته‌بندی خودکار کالاها بر اساس ویژگی‌های ظاهری و حتی توصیه‌های شخصی‌سازی شده برای مشتریان کمک کند.

به طور خلاصه، دستاورد اصلی ViSFT این است که با فراهم آوردن ابزاری کارآمد برای تنظیم دقیق مدل‌های بنیادین بصری، آن‌ها را از مدل‌های عمومی به ابزارهای تخصصی و بسیار دقیق تبدیل می‌کند که می‌توانند چالش‌های پیچیده دنیای واقعی را حل کنند. این امر به معنای پیشرفت قابل توجهی در بهره‌برداری از پتانسیل کامل هوش مصنوعی بینایی است.

۷. نتیجه‌گیری

پژوهش “بهبود مدل‌های بنیادین بصری با تنظیم دقیق تحت نظارت” یک گام مهم و رو به جلو در تکامل مدل‌های هوش مصنوعی بینایی برداشته است. در حالی که مدل‌های بنیادین پیش‌آموزش دیده با روش‌های تصویر-متن نظیر CLIP، قابلیت‌های تعمیم‌پذیری قابل توجهی را از خود نشان می‌دهند، اما در مواجهه با نیاز به درک ریزدانه در سطح ناحیه، به دلیل کمبود داده‌های مقیاس‌پذیر، با محدودیت‌هایی روبرو بوده‌اند.

این مقاله با الهام از موفقیت تنظیم دقیق تحت نظارت (SFT) در پردازش زبان طبیعی، رویکرد نوین ViSFT (Vision SFT) را معرفی می‌کند. ViSFT یک روش دو مرحله‌ای است که به مدل‌های بنیادین بینایی اجازه می‌دهد تا دانش ریزدانه نهفته در خود را فعال کنند. این فرآیند شامل یادگیری مشترک بصری بر روی وظایف درون‌دامنه و سپس ارزیابی جامع بر روی معیارهای خارج از دامنه است. نتایج به وضوح نشان می‌دهند که با استفاده از ViSFT، یک ترانسفورمر بینایی با بیش از ۴.۴ میلیارد پارامتر، بهبودهای چشمگیری را در عملکرد خود در سناریوهای مختلف بینایی و بینایی-زبانی تجربه می‌کند، که این بهبودها حتی در معیارهای خارج از دامنه نیز مشهود هستند.

مهمترین دستاورد این تحقیق، ارائه یک روش کارآمد و مقیاس‌پذیر برای بهینه‌سازی مدل‌های عظیم بینایی است که بدون نیاز به پیش‌آموزش مجدد پرهزینه، آنها را قادر می‌سازد تا وظایف پیچیده و نیازمند دقت بالا را با موفقیت انجام دهند. این کار نه تنها به حل مشکل مقیاس‌پذیری داده‌های ریزدانه کمک می‌کند، بلکه راه را برای کاربردهای عملی گسترده‌تر و هوشمندانه‌تر در زمینه‌هایی مانند خودروهای خودران، تشخیص پزشکی، رباتیک و تولید محتوا هموار می‌سازد.

آینده این زمینه از تحقیق می‌تواند شامل بررسی استراتژی‌های SFT متنوع‌تر، کاهش وابستگی به داده‌های برچسب‌دار در مرحله تنظیم دقیق (مثلاً از طریق روش‌های خودنظارتی یا نیمه‌نظارتی)، و اعمال ViSFT بر روی مدل‌های چندوجهی پیچیده‌تر که فراتر از تصویر و متن عمل می‌کنند، باشد. این پژوهش یک بنیان قوی برای توسعه نسل بعدی سیستم‌های هوش مصنوعی بینایی فراهم می‌آورد که قادر به درک و تعامل با جهان بصری با سطوح بی‌سابقه‌ای از دقت و هوشمندی هستند.