در سال‌های اخیر، معماری ترانسفورمر (Transformer) به لطف موفقیت چشمگیر در حوزه پردازش زبان طبیعی (NLP)، به مدل غالب در این زمینه تبدیل شده است. توانایی این مدل‌ها در پیش‌آموزش بر روی حجم عظیمی از داده‌ها و سپس انتقال دانش به وظایف خاص از طریق فرآیندی به نام تنظیم دقیق (Fine-tuning)، انقلابی در هوش مصنوعی ایجاد کرد. مقاله “Vision Transformer” یا ViT، اولین تلاش جدی برای به کارگیری مستقیم یک مدل ترانسفورمر خالص بر روی تصاویر بود و نشان داد که این معماری می‌تواند در وظایف دسته‌بندی تصاویر، نتایجی رقابتی با شبکه‌های عصبی کانولوشنی (CNN) کسب کند.

با این حال، یک چالش اساسی باقی ماند: وظایف پیچیده‌تر بینایی کامپیوتر مانند تشخیص شیء (Object Detection) و قطعه‌بندی (Segmentation) نیازمند ورودی‌هایی با وضوح بالا هستند تا جزئیات دقیق به درستی شناسایی شوند. پیچیدگی محاسباتی مکانیزم توجه (Attention) در ترانسفورمرها، استفاده از آن‌ها را به ورودی‌های با وضوح پایین محدود می‌کرد. این موضوع این پرسش بنیادین را مطرح ساخت: آیا معماری‌های مبتنی بر ترانسفورمر مانند ViT قادر به انجام وظایفی فراتر از دسته‌بندی ساده هستند؟

مقاله “Toward Transformer-Based Object Detection” به طور مستقیم به این پرسش پاسخ می‌دهد. اهمیت این مقاله در آن است که به عنوان یکی از اولین پژوهش‌های نظام‌مند، امکان‌سنجی استفاده از یک Vision Transformer به عنوان ستون فقرات (Backbone) استخراج ویژگی برای یک مدل تشخیص شیء استاندارد را بررسی می‌کند. این پژوهش نه تنها یک اثبات مفهوم (Proof of Concept) است، بلکه به عنوان یک پل حیاتی بین دنیای تشخیص شیء تحت سلطه CNN و پارادایم نوظهور مدل‌های کاملاً مبتنی بر ترانسفورمر عمل می‌کند.

این مقاله توسط تیمی از پژوهشگران برجسته به نام‌های جاش بیل، اریک کیم، اریک تزنگ، دونگ هوک پارک، اندرو ژای و دیمیتری کیسلیوک به نگارش درآمده است. این پژوهش در بستر تحولات سریع حوزه بینایی کامپیوتر و هوش مصنوعی قرار می‌گیرد. پس از موفقیت مقاله اصلی ViT، جامعه علمی به دنبال گسترش کاربرد این معماری قدرتمند به سایر حوزه‌های بینایی بود. در آن زمان، مدل‌هایی مانند Faster R-CNN با ستون فقرات مبتنی بر ResNet، پیشرفته‌ترین راه‌حل‌ها برای تشخیص شیء محسوب می‌شدند. این مقاله با به چالش کشیدن این پارادایم، راه را برای نسل جدیدی از مدل‌های تشخیص شیء هموار کرد.

هدف اصلی این مقاله، بررسی این موضوع است که آیا می‌توان از یک مدل Vision Transformer به عنوان ستون فقرات استخراج ویژگی در یک چارچوب تشخیص شیء متداول استفاده کرد و به نتایج رقابتی دست یافت. برای این منظور، نویسندگان مدلی ترکیبی به نام ViT-FRCNN را پیشنهاد می‌کنند. این مدل، یک ستون فقرات ViT را با یک “هِد” (Head) تشخیص شیء از خانواده Faster R-CNN ترکیب می‌کند.

این پژوهش نشان می‌دهد که ViT-FRCNN نه تنها به نتایج قابل قبولی در مجموعه داده استاندارد COCO دست می‌یابد، بلکه چندین ویژگی کلیدی مرتبط با ترانسفورمرها را نیز به نمایش می‌گذارد. این ویژگی‌ها شامل ظرفیت بالا برای یادگیری از پیش‌آموزش روی داده‌های عظیم و سرعت بالای تنظیم دقیق (Fine-tuning) برای وظیفه جدید است. علاوه بر این، مقاله بهبودهای قابل توجهی نسبت به ستون فقرات استاندارد مبتنی بر CNN را گزارش می‌دهد، از جمله:

• عملکرد برتر روی تصاویر خارج از دامنه (Out-of-Domain).
• کارایی بهتر در تشخیص اشیاء بزرگ.
• وابستگی کمتر به الگوریتم پس‌پردازش سرکوب غیرحداکثری (Non-Maximum Suppression – NMS).

در نهایت، نویسندگان ViT-FRCNN را یک گام مهم و یک سنگ بنای اساسی به سوی راه‌حل‌های کاملاً مبتنی بر ترانسفورمر برای وظایف پیچیده بینایی کامپیوتر می‌دانند.

معماری ViT-FRCNN یک مدل ترکیبی هوشمندانه است که از نقاط قوت دو جهان متفاوت بهره می‌برد: توانایی ترانسفورمر در درک زمینه سراسری و کارایی اثبات‌شده چارچوب‌های تشخیص شیء مبتنی بر ناحیه.

۱. ستون فقرات: Vision Transformer (ViT)

قلب این مدل، یک ViT استاندارد است که وظیفه استخراج ویژگی‌های معنادار از تصویر ورودی را بر عهده دارد. فرآیند کار آن به شرح زیر است:

• تقسیم به تکه‌ها (Patching): تصویر ورودی به مجموعه‌ای از تکه‌های (Patches) مربعی و بدون همپوشانی (مثلاً با ابعاد ۱۶×۱۶ پیکسل) تقسیم می‌شود.
• تعبیه‌سازی خطی (Linear Embedding): هر تکه به یک بردار با ابعاد ثابت تبدیل می‌شود که به آن “تعبیه‌سازی تکه” (Patch Embedding) می‌گویند.
• افزودن اطلاعات مکانی: از آنجایی که ترانسفورمرها ذاتاً درکی از ترتیب ورودی‌ها ندارند، بردارهای “تعبیه‌سازی موقعیتی” (Positional Embeddings) به تعبیه‌سازی‌های تکه‌ها اضافه می‌شوند تا اطلاعات مربوط به موقعیت مکانی هر تکه در تصویر اصلی حفظ شود.
• رمزگذار ترانسفورمر (Transformer Encoder): دنباله‌ای از این بردارها به یک رمزگذار ترانسفورمر استاندارد وارد می‌شود. این رمزگذار از چندین لایه تشکیل شده که هر لایه شامل یک مکانیزم توجه به خود چندسر (Multi-Head Self-Attention) و یک شبکه عصبی پیشخور (Feed-Forward) است. مکانیزم توجه به خود به هر تکه اجازه می‌دهد تا با تمام تکه‌های دیگر در تصویر “تعامل” کند و اطلاعات زمینه‌ای سراسری را استخراج نماید.

۲. هِد تشخیص شیء: Faster R-CNN (FRCNN)

ویژگی‌های استخراج‌شده توسط ViT به یک هِد تشخیص شیء استاندارد از نوع Faster R-CNN داده می‌شود. این بخش خود از دو مؤلفه اصلی تشکیل شده است:

• شبکه پیشنهاد ناحیه (Region Proposal Network – RPN): این شبکه بر روی نقشه ویژگی‌های خروجی از ستون فقرات اجرا می‌شود و مجموعه‌ای از “نواحی کاندید” که احتمالاً حاوی شیء هستند را تولید می‌کند.
• هِد نهایی: برای هر ناحیه پیشنهادی، یک هِد نهایی وظیفه دسته‌بندی شیء (مثلاً “گربه”، “سگ”، “ماشین”) و اصلاح دقیق مختصات جعبه مرزی (Bounding Box) را بر عهده دارد.

۳. پل ارتباطی: تطبیق خروجی ViT با ورودی FRCNN

چالش اصلی در این معماری، تطبیق خروجی ViT با ورودی مورد انتظار RPN است. خروجی ViT یک دنباله یک‌بعدی از بردارهای ویژگی (برای هر تکه) است، در حالی که RPN معمولاً یک نقشه ویژگی فضایی دوبعدی (مانند خروجی یک CNN) را به عنوان ورودی می‌پذیرد. برای حل این مشکل، نویسندگان خروجی دنباله‌ای ViT را به یک نقشه ویژگی دوبعدی بازآرایی (Reshape) می‌کنند. این کار با قرار دادن بردار ویژگی هر تکه در موقعیت مکانی اصلی خود در یک شبکه دوبعدی انجام می‌شود و ساختاری شبیه به خروجی یک ستون فقرات CNN ایجاد می‌کند.

آزمایش‌های انجام‌شده در این مقاله نتایج مهم و قابل تأملی را به همراه داشت که پتانسیل ترانسفورمرها در تشخیص شیء را به وضوح نشان داد.

• نتایج رقابتی در معیار COCO: مدل ViT-FRCNN توانست به عملکردی قابل رقابت با مدل‌های پیشرفته مبتنی بر ستون فقرات CNN (مانند ResNet) در مجموعه داده چالش‌برانگیز COCO دست یابد. این یافته به تنهایی اثبات می‌کند که ViT یک استخراج‌کننده ویژگی قدرتمند برای وظایف پیچیده‌تر از دسته‌بندی است.
• ظرفیت بالای پیش‌آموزش: یکی از ویژگی‌های بارز ترانسفورمرها، مقیاس‌پذیری آن‌هاست. نتایج نشان داد که با افزایش اندازه مدل ViT و پیش‌آموزش آن بر روی مجموعه داده‌های بسیار بزرگ (مانند JFT-300M)، عملکرد تشخیص شیء به طور قابل توجهی بهبود می‌یابد. این مزیت به ترانسفورمرها اجازه می‌دهد تا از حجم عظیم داده‌های بدون برچسب موجود بهره‌برداری کنند.
• عملکرد برتر در تشخیص اشیاء بزرگ: به لطف مکانیزم توجه سراسری، ViT می‌تواند روابط دوربرد بین قسمت‌های مختلف تصویر را درک کند. این ویژگی باعث می‌شود مدل در تشخیص اشیای بزرگ که بخش وسیعی از تصویر را پوشش می‌دهند، عملکرد بهتری نسبت به CNNها داشته باشد که دارای میدان دید محدودتری هستند.
• تعمیم‌پذیری بهتر به داده‌های خارج از دامنه: مدل ViT-FRCNN در مواجهه با تصاویری که از نظر سبک یا محتوا با داده‌های آموزشی تفاوت دارند، استحکام (Robustness) بیشتری از خود نشان داد. این امر احتمالاً به دلیل تمرکز ترانسفورمر بر روابط ساختاری و زمینه‌ای به جای ویژگی‌های بافتی محلی است.
• کاهش وابستگی به سرکوب غیرحداکثری (NMS): NMS یک گام پس‌پردازش ضروری در اکثر مدل‌های تشخیص شیء است که برای حذف جعبه‌های مرزی اضافی و همپوشان برای یک شیء واحد استفاده می‌شود. نویسندگان دریافتند که خروجی‌های خام ViT-FRCNN دارای همپوشانی کمتری هستند و این مدل وابستگی کمتری به NMS دارد. این نشان می‌دهد که مکانیزم توجه سراسری ممکن است به طور ذاتی یاد بگیرد که ویژگی‌های تکراری را در خود مدل سرکوب کند، که این یک مزیت محاسباتی و مفهومی بزرگ است.

این مقاله صرفاً یک تمرین آکادمیک نبود، بلکه تأثیرات عمیقی بر مسیر تحقیقات بینایی کامپیوتر گذاشت.

بزرگترین دستاورد این پژوهش، اثبات این بود که معماری ترانسفورمر می‌تواند به عنوان یک ستون فقرات همه‌منظوره برای وظایف مختلف بینایی عمل کند. این کار، همراه با مقالات دیگری مانند DETR، یک تغییر پارادایم را از مدل‌های مبتنی بر کانولوشن به سمت مدل‌های مبتنی بر توجه آغاز کرد. ViT-FRCNN با ارائه یک مدل ترکیبی قابل فهم، به محققان اجازه داد تا تأثیر ستون فقرات را به صورت مجزا بررسی کنند.

این رویکرد راه را برای توسعه مدل‌های چندوجهی (Multi-modal) که می‌توانند همزمان متن و تصویر را با استفاده از یک معماری پایه مشابه (ترانسفورمر) پردازش کنند، هموارتر ساخت. از نظر کاربردی، ویژگی‌هایی مانند تعمیم‌پذیری بهتر برای سیستم‌های دنیای واقعی مانند خودروهای خودران، نظارت تصویری هوشمند و تصویربرداری پزشکی، که در آن‌ها مواجهه با شرایط پیش‌بینی‌نشده امری رایج است، بسیار حیاتی است.

مقاله “Toward Transformer-Based Object Detection” با موفقیت به این پرسش کلیدی پاسخ داد که آیا Vision Transformerها برای وظایف پیچیده‌ای فراتر از دسته‌بندی تصویر مناسب هستند یا خیر. پاسخ، یک “بله” قاطع بود. مدل پیشنهادی، ViT-FRCNN، نه تنها عملکردی رقابتی از خود نشان داد، بلکه مزایای منحصربه‌فرد معماری ترانسفورمر مانند مقیاس‌پذیری فوق‌العاده، درک زمینه سراسری و تعمیم‌پذیری بهتر را به حوزه تشخیص شیء وارد کرد.

این پژوهش یک نقطه عطف مهم در تاریخ بینایی کامپیوتر است که به عنوان یک “سنگ بنا” عمل کرد و الهام‌بخش موج جدیدی از تحقیقات برای ساخت سیستم‌های بینایی کاملاً مبتنی بر ترانسفورمر شد. این مقاله به خوبی نشان داد که آینده بینایی کامپیوتر در گروی بهره‌گیری از معماری‌های قدرتمند و مقیاس‌پذیری است که بتوانند از اقیانوس داده‌های موجود برای درک عمیق‌تر دنیای بصری بهره‌مند شوند.