در سال‌های اخیر، دنیای هوش مصنوعی شاهد یک دگرگونی بنیادین بوده است که عمدتاً توسط ظهور «مدل‌های پایه» (Foundation Models) هدایت می‌شود. این مدل‌های غول‌پیکر که بر روی حجم غیرقابل تصوری از داده‌ها آموزش دیده‌اند، توانایی‌های شگفت‌انگیزی در زمینه‌های مختلف، از تولید متن و تصویر گرفته تا درک زبان طبیعی، از خود نشان داده‌اند. مقاله حاضر با عنوان «Towards Training-free Open-world Segmentation via Image Prompt Foundation Models» در قلب این تحول قرار دارد و یکی از چالش‌برانگیزترین مسائل حوزه بینایی ماشین، یعنی «بخش‌بندی جهان-باز» (Open-world Segmentation)، را هدف قرار داده است.

بخش‌بندی تصویر، فرآیند تقسیم یک تصویر به نواحی یا اشیاء معنادار است. رویکردهای سنتی به شدت به مجموعه داده‌های برچسب‌گذاری‌شده و آموزش‌های طولانی برای شناسایی مجموعه‌ای محدود از کلاس‌ها (مانند گربه، سگ، ماشین) وابسته بودند. این محدودیت، کاربرد آن‌ها را در دنیای واقعی که پر از اشیاء ناشناخته و مفاهیم بصری جدید است، دشوار می‌ساخت. این مقاله یک راه‌حل نوآورانه و کارآمد به نام IPSeg (مخفف Image Prompt Segmentation) ارائه می‌دهد که این محدودیت‌ها را با استفاده از یک پارادایم بدون نیاز به آموزش (Training-free) و بهره‌گیری از قدرت ترکیبی چند مدل پایه، پشت سر می‌گذارد. اهمیت این پژوهش در ارائه روشی است که به کامپیوتر اجازه می‌دهد تا هر مفهوم بصری را تنها با دیدن یک نمونه تصویری، در تصاویر دیگر شناسایی و جداسازی کند؛ گامی بزرگ به سوی هوش مصنوعی با درک بصری جامع‌تر و انعطاف‌پذیرتر.

این مقاله حاصل تلاش مشترک تیمی از پژوهشگران برجسته به نام‌های Lv Tang، Peng-Tao Jiang، Hao-Ke Xiao و Bo Li است. زمینه تخصصی این تحقیق، بینایی ماشین و بازشناسی الگو (Computer Vision and Pattern Recognition) است که یکی از شاخه‌های کلیدی هوش مصنوعی به شمار می‌رود. هدف اصلی این حوزه، توسعه الگوریتم‌ها و سیستم‌هایی است که می‌توانند اطلاعات بصری موجود در تصاویر و ویدئوها را به شیوه‌ای مشابه انسان درک، تفسیر و پردازش کنند. این مقاله با ترکیب جدیدترین دستاوردهای مدل‌های پایه، مرزهای این دانش را جابجا کرده و به حل یکی از مسائل دیرینه آن کمک شایانی نموده است.

این پژوهش، با الهام از موفقیت مدل‌های زبان بزرگ، به بررسی پتانسیل مدل‌های پایه در حوزه بینایی ماشین می‌پردازد. نویسندگان روشی نوین به نام IPSeg را معرفی می‌کنند که یک رویکرد کاملاً جدید برای بخش‌بندی جهان-باز ارائه می‌دهد. اصل کلیدی این روش، استفاده از «اعلان تصویری» (Image Prompt) در یک چارچوب بدون نیاز به آموزش است.

در این رویکرد، به جای استفاده از دستورات متنی (مثلاً «گربه را پیدا کن»)، از یک تصویر واحد که حاوی یک مفهوم بصری خاص است (مثلاً عکسی از یک نژاد خاص سگ) به عنوان یک اعلان انعطاف‌پذیر استفاده می‌شود. سیستم IPSeg با بهره‌گیری از مدل‌های پایه قدرتمندی مانند DINOv2 و Stable Diffusion، ویژگی‌های عمیق و معناداری را از تصویر اعلان و تصویر ورودی استخراج می‌کند. سپس، با استفاده از یک ماژول نوآورانه به نام «ماژول تعامل ویژگی‌ها»، این ویژگی‌ها را با یکدیگر تطبیق می‌دهد تا اشیاء مورد نظر را در تصویر ورودی مکان‌یابی کند. خروجی این مرحله، مجموعه‌ای از «اعلان‌های نقطه‌ای» است که مستقیماً به مدل مشهور Segment Anything Model (SAM) ارسال می‌شود تا فرآیند بخش‌بندی نهایی با دقت بالا انجام شود. برجستگی اصلی این روش، حذف کامل فرآیند آموزش‌های سنگین و زمان‌بر است که آن را به راه‌حلی بسیار کارآمد و مقیاس‌پذیر تبدیل می‌کند.

معماری IPSeg یک نمونه درخشان از مهندسی هوشمندانه و ترکیب خلاقانه مدل‌های پایه است. این فرآیند را می‌توان در پنج گام اصلی خلاصه کرد:

• گام اول: ورودی‌های مدل
  
  سیستم دو ورودی دریافت می‌کند: ۱) «تصویر ورودی» که می‌خواهیم اشیائی در آن بخش‌بندی شوند (مثلاً یک منظره شلوغ شهری) و ۲) «تصویر اعلان» که مفهوم بصری مورد نظر ما را نمایش می‌دهد (مثلاً عکسی از یک اسکوتر برقی خاص). هدف، یافتن و جداسازی تمام اسکوترهای مشابه در تصویر شهری است.
• گام دوم: استخراج ویژگی‌های عمیق
  
  در این مرحله، مدل‌های پایه‌ی بصری مانند DINOv2 و Stable Diffusion به عنوان استخراج‌کننده‌های قدرتمند ویژگی عمل می‌کنند. این مدل‌ها هر دو تصویر را به بازنمایی‌های عددی (بردار ویژگی) تبدیل می‌کنند که جزئیات دقیق، بافت، شکل و مفهوم معنایی محتوای بصری را در خود رمزگذاری کرده‌اند.
• گام سوم: ماژول تعامل و تطبیق ویژگی‌ها
  
  این بخش، نوآوری اصلی مقاله است. یک «ماژول تعامل ویژگی» (Feature Interaction Module) طراحی شده است که بردار ویژگی استخراج‌شده از تصویر اعلان را با بردارهای ویژگی مربوط به تمام نواحی مختلف تصویر ورودی مقایسه می‌کند. این ماژول با محاسبه شباهت بصری، مناطقی از تصویر ورودی را که بیشترین تطابق را با مفهوم موجود در تصویر اعلان دارند، شناسایی می‌کند.
• گام چهارم: تولید اعلان‌های نقطه‌ای
  
  به جای تولید مستقیم یک ماسک بخش‌بندی، سیستم به شیوه‌ای هوشمندانه، نقاطی را در مرکز اشیاء شناسایی‌شده در تصویر ورودی تولید می‌کند. این «اعلان‌های نقطه‌ای» (Point Prompts) به عنوان راهنماهای دقیق برای مرحله بعد عمل می‌کنند و پیچیدگی کار را کاهش می‌دهند.
• گام پنجم: بخش‌بندی نهایی با SAM
  
  نقاط راهنمای تولیدشده به عنوان ورودی به مدل Segment Anything Model (SAM) داده می‌شوند. SAM یک مدل پایه است که در بخش‌بندی دقیق اشیاء بر اساس اعلان‌های ساده (مانند نقطه یا کادر) تخصص دارد. با دریافت این نقاط، SAM می‌تواند مرزهای دقیق شیء مورد نظر را با کیفیتی فوق‌العاده ترسیم کرده و ماسک نهایی را تولید کند.

این معماری ماژولار و زنجیره‌ای، قدرت مدل‌های مختلف را بدون نیاز به یکپارچه‌سازی پیچیده یا آموزش مجدد، به خدمت می‌گیرد.

آزمایش‌های گسترده بر روی مجموعه داده‌های استاندارد صنعتی مانند COCO و PASCAL VOC، موفقیت چشمگیر رویکرد IPSeg را به اثبات رسانده است. یافته‌های اصلی عبارتند از:

• اثربخشی و دقت بالا: روش پیشنهادی نتایجی رقابتی و در بسیاری موارد برتر از روش‌های پیشین که نیازمند آموزش بودند، کسب کرد. این امر نشان می‌دهد که ترکیب هوشمندانه مدل‌های پایه می‌تواند جایگزین مناسبی برای آموزش‌های اختصاصی باشد.
• انعطاف‌پذیری بی‌نظیر: توانایی استفاده از هر تصویری به عنوان اعلان، امکان بخش‌بندی تقریباً هر مفهوم بصری قابل تصوری را فراهم می‌کند؛ از اشیاء روزمره گرفته تا بافت‌های خاص، سبک‌های هنری یا حتی مفاهیم انتزاعی.
• کارایی فوق‌العاده: ماهیت Training-free این روش به معنای صرفه‌جویی عظیم در زمان، داده و منابع محاسباتی (GPU) است. یک کاربر می‌تواند بدون نیاز به تخصص یادگیری عمیق یا دسترسی به زیرساخت‌های گران‌قیمت، وظایف بخش‌بندی پیچیده‌ای را انجام دهد.

نوآوری ارائه شده در این مقاله، درهای جدیدی را به روی کاربردهای عملی و تجاری باز می‌کند. برخی از پیامدهای بالقوه عبارتند از:

• ویرایش هوشمند تصویر و ویدئو: ابزارهایی که به کاربر اجازه می‌دهند با انتخاب یک شیء در یک تصویر (مثلاً یک مدل خاص از صندلی)، تمام صندلی‌های مشابه را در تصاویر دیگر پیدا کرده و به صورت گروهی ویرایش کنند (مثلاً تغییر رنگ دهند).
• تجارت الکترونیک و جستجوی بصری: کاربران می‌توانند با آپلود عکس یک محصول، تمام محصولات با ظاهر مشابه را در یک فروشگاه آنلاین به سرعت پیدا و مقایسه کنند.
• رباتیک و اتوماسیون: یک ربات در یک انبار یا خط تولید می‌تواند با نشان دادن تصویر یک قطعه خاص، دستور یابد تا تمام قطعات مشابه را پیدا کرده و جابجا کند.
• تحلیل تصاویر پزشکی: یک پزشک می‌تواند با ارائه نمونه‌ای از یک سلول یا ناهنجاری خاص، از سیستم بخواهد تمام نمونه‌های مشابه را در یک اسکن پزشکی برای بررسی دقیق‌تر هایلایت کند.
• نظارت و امنیت هوشمند: شناسایی سریع انواع خاصی از وسایل نقلیه یا اشیاء در تصاویر دوربین‌های مداربسته تنها با ارائه یک عکس نمونه.

دستاورد اصلی این مقاله، پیشگامی در بهره‌برداری از مدل‌های پایه برای درک جهان-باز از طریق مفاهیم بصری است که مستقیماً در تصاویر منتقل می‌شوند و گامی فراتر از اعلان‌های متنی محسوب می‌شود.

مقاله «Towards Training-free Open-world Segmentation via Image Prompt Foundation Models» یک چارچوب نوآورانه، مؤثر و کارآمد به نام IPSeg را معرفی می‌کند که پارادایم جدیدی در حوزه بخش‌بندی تصویر ایجاد کرده است. این روش با حذف نیاز به آموزش و تکیه بر قدرت ترکیبی مدل‌های پایه پیشرفته، راه‌حلی مقیاس‌پذیر و در دسترس برای یکی از چالش‌های اساسی بینایی ماشین ارائه می‌دهد. IPSeg نه تنها یک ابزار قدرتمند است، بلکه مسیری جدید برای تحقیقات آینده در زمینه ساخت سیستم‌های هوش مصنوعی عمومی‌تر، شهودی‌تر و سازگارتر را روشن می‌کند. این پژوهش نشان می‌دهد که آینده هوش مصنوعی بصری ممکن است کمتر در آموزش مدل‌های جدید از ابتدا و بیشتر در یادگیری نحوه ترکیب خلاقانه و کارآمد مدل‌های پایه موجود نهفته باشد.