در دهه اخیر، معماری ترانسفورمر (Transformer)، با مکانیسم توجهی خود که انقلابی در حوزه پردازش زبان طبیعی (NLP) ایجاد کرده است، فراتر از مرزهای این حوزه رفته و اثری پیشگامانه در بینایی ماشین (Computer Vision – CV) نیز به نمایش گذاشته است. این مقاله به بررسی یکی از مهم‌ترین دستاوردهای این ادغام، یعنی ترانسفورمر بینایی (Vision Transformer – ViT) و مشتقات آن می‌پردازد. اهمیت این مقاله از آنجا ناشی می‌شود که ViT با ارائه رویکردی کاملاً متفاوت نسبت به شبکه‌های عصبی پیچشی (Convolutional Neural Networks – CNNs) که دهه‌ها بر بینایی ماشین حاکم بودند، پارادایم جدیدی را معرفی کرده است.

تا پیش از ظهور ViT، شبکه‌های CNN با توانایی خود در استخراج ویژگی‌های سلسله‌مراتبی از تصاویر، معیار عملکرد در بسیاری از وظایف بینایی ماشین بودند. اما ViT با اتکا بر قابلیت‌های مدل‌سازی برتر خود و استفاده از مکانیسم خودتوجهی (Self-Attention)، توانسته است عملکردی بسیار عالی را در چندین معیار ارزیابی مهم مانند ImageNet، COCO و ADE20k به دست آورد و مسیر جدیدی را برای تحقیقات و کاربردهای آتی هموار سازد. درک اصول بنیادین ViT و بررسی مشتقات آن برای هر پژوهشگر و متخصصی در حوزه هوش مصنوعی که علاقه‌مند به پیشرفت‌های اخیر در بینایی ماشین است، حیاتی است.

نویسنده این مقاله، Zujun Fu، در زمینه‌ای فعالیت می‌کند که در خط مقدم تحقیقات هوش مصنوعی قرار دارد: بینایی ماشین و تشخیص الگو (Computer Vision and Pattern Recognition). این حوزه شامل توسعه الگوریتم‌ها و سیستم‌هایی است که می‌توانند تصاویر و ویدئوها را “درک” و “تفسیر” کنند. این درک می‌تواند شامل تشخیص اشیا، شناسایی چهره‌ها، تقسیم‌بندی تصاویر به اجزای معنایی، و تحلیل حرکت باشد.

تحقیقات Zujun Fu در زمینه ترانسفورمرهای بینایی و مشتقات آن‌ها، مستقیماً به پیشرفت‌های اخیر در یادگیری عمیق (Deep Learning) گره خورده است. با توجه به اینکه ترانسفورمرها در ابتدا برای پردازش زبان طبیعی طراحی شده بودند، بسط دادن آن‌ها به حوزه بینایی ماشین نیازمند دانش عمیقی از هر دو زمینه و همچنین خلاقیت در تطبیق معماری‌ها بوده است. کار ایشان به درک بهتر چگونگی استفاده از مکانیسم‌های توجهی برای تحلیل داده‌های تصویری و رسیدن به عملکردی قابل رقابت یا حتی برتر از روش‌های سنتی‌تر، کمک شایانی می‌کند. این مقاله به عنوان یک مرور جامع، نقش مهمی در جمع‌بندی و دسته‌بندی دانش موجود در این زمینه در حال تحول ایفا می‌کند.

چکیده مقاله به وضوح مسیر و هدف اصلی تحقیق را بیان می‌کند. ترانسفورمر، که یک معماری رمزگذار-رمزگشا (encoder-decoder) مبتنی بر توجه (Attention) است، نه تنها حوزه پردازش زبان طبیعی (NLP) را متحول کرده، بلکه کارهای پیشگامانه‌ای در حوزه بینایی ماشین (CV) نیز انجام داده است. ترانسفورمر بینایی (ViT) در مقایسه با شبکه‌های عصبی پیچشی (CNNs)، با تکیه بر قابلیت‌های مدل‌سازی فوق‌العاده خود، عملکرد بسیار خوبی را در چندین معیار ارزیابی از جمله ImageNet، COCO و ADE20k به دست آورده است.

الهام اصلی ViT از مکانیسم خودتوجهی در پردازش زبان طبیعی گرفته شده است؛ جایی که تعبیه‌های کلمه (Word Embeddings) با تعبیه‌های پچ (Patch Embeddings) جایگزین می‌شوند. این تغییر اساسی به ViT اجازه می‌دهد تا یک تصویر را به صورت یک دنباله از پچ‌های تصویری پردازش کند، دقیقاً همانطور که ترانسفورمرها کلمات را در یک جمله پردازش می‌کنند. مقاله حاضر به بررسی جامع مشتقات مختلف ViT و همچنین کاربردهای متقاطع ViT با سایر زمینه‌ها می‌پردازد. این مرور نه تنها به درک چگونگی تکامل ViT کمک می‌کند، بلکه راهکارهایی برای بهبود کارایی، کاهش پیچیدگی محاسباتی و افزایش دامنه کاربرد آن را نیز نشان می‌دهد.

از آنجایی که این مقاله یک مرور سیستماتیک (Review Paper) است، روش‌شناسی تحقیق آن عمدتاً بر پایه تحلیل و سنتز ادبیات موجود استوار است. نویسنده با جمع‌آوری، دسته‌بندی و ارزیابی مقالات علمی منتشر شده در زمینه ترانسفورمرهای بینایی، به تحلیل عمیقی از این حوزه دست یافته است. این روش‌شناسی شامل مراحل زیر می‌شود:

• شناسایی و جمع‌آوری مقالات مرتبط: جستجو در پایگاه‌های داده علمی معتبر برای یافتن مقالات کلیدی در مورد ViT، مشتقات آن، و کاربردهای متقاطع.
• تحلیل معماری ViT: بررسی دقیق نحوه عملکرد ViT، از جمله چگونگی تقسیم تصویر به پچ‌ها، ایجاد تعبیه‌های پچ، افزودن اطلاعات موقعیت (Positional Embeddings) و عبور آن‌ها از لایه‌های ترانسفورمر (Encoder).
• دسته‌بندی مشتقات ViT: شناسایی و تحلیل معماری‌های مختلفی که بر پایه ViT توسعه یافته‌اند. این مشتقات ممکن است با هدف بهبود کارایی، کاهش نیاز به داده، پردازش سلسله‌مراتبی یا بهینه‌سازی برای دستگاه‌های خاص طراحی شده باشند. به عنوان مثال، مواردی مانند DeiT (Data-efficient image Transformers) که بر روی کارایی داده‌ای تمرکز دارد، یا Swin Transformer که با معماری سلسله‌مراتبی خود، مشکلات مقیاس‌پذیری ViT را در وظایف با وضوح بالا حل می‌کند، مورد بررسی قرار می‌گیرند.
• مقایسه عملکرد و معیارها: ارزیابی نتایج عملکرد ViT و مشتقات آن در بنچمارک‌های استاندارد مانند ImageNet برای طبقه‌بندی تصویر، COCO برای تشخیص شیء و بخش‌بندی نمونه (Instance Segmentation)، و ADE20k برای بخش‌بندی معنایی (Semantic Segmentation).
• بررسی کاربردهای متقاطع: تحلیل چگونگی ادغام ViT با سایر مدل‌ها یا کاربرد آن در حوزه‌های جدید مانند پزشکی، رباتیک، یا سیستم‌های خودران.

این رویکرد امکان می‌دهد تا پیچیدگی‌های معماری ترانسفورمر در زمینه بینایی ماشین به شیوه‌ای ساختاریافته مورد بررسی قرار گیرد و نقاط قوت و ضعف آن به خوبی مشخص شود.

مقاله مروری Zujun Fu به چندین یافته کلیدی اشاره می‌کند که نشان‌دهنده اهمیت و پتانسیل بالای ترانسفورمرهای بینایی است:

• برتری عملکرد در مقیاس بزرگ: ViT با آموزش بر روی مجموعه داده‌های بسیار بزرگ (مانند JFT-300M)، توانسته است عملکردی فراتر از بهترین CNN‌ها در بنچماردهایی مانند ImageNet به دست آورد. این نشان می‌دهد که با افزایش حجم داده‌های آموزشی، ViT می‌تواند پتانسیل خود را به بهترین نحو بروز دهد.
• مکانیسم تعبیه‌های پچ: نوآوری اصلی ViT در تقسیم تصویر به پچ‌های کوچک غیرهمپوشان و تبدیل هر پچ به یک بردار (تعبیه) است. این تعبیه‌ها سپس به همراه اطلاعات موقعیتی به یک معماری ترانسفورمر استاندارد تغذیه می‌شوند. این رویکرد به مدل اجازه می‌دهد تا روابط سراسری (global dependencies) را بین بخش‌های مختلف تصویر، به جای تمرکز بر ویژگی‌های محلی، یاد بگیرد.
• انعطاف‌پذیری و قابلیت انطباق: ViT یک چارچوب بسیار انعطاف‌پذیر است که می‌توان آن را به راحتی برای وظایف مختلف بینایی ماشین و حتی در حوزه‌های دیگر تطبیق داد. این انعطاف‌پذیری منجر به ظهور مشتقات متعددی شده است که هر کدام به منظور خاصی بهینه‌سازی شده‌اند.
• تنوع در مشتقات ViT:
  • DeiT: این مشتق نشان داد که ViT می‌تواند حتی با داده‌های آموزشی کمتر (مانند ImageNet-1K) نیز با استفاده از تکنیک‌های تقطیر دانش (knowledge distillation) به عملکردی قابل قبول دست یابد.
  • Swin Transformer: با معرفی یک معماری سلسله‌مراتبی و مکانیسم توجهی بر اساس پنجره‌های شیفت‌یافته (shifted windows)، Swin Transformer پیچیدگی محاسباتی ViT را کاهش داده و آن را برای وظایف چگال (dense prediction) مانند بخش‌بندی تصویر، کارآمدتر ساخته است.
  • Pyramid Vision Transformer (PVT): با تولید نقشه‌های ویژگی چندمقیاسی، PVT قابلیت‌های ViT را برای وظایف تشخیص شیء و بخش‌بندی، که نیاز به درک در سطوح مختلف دارند، بهبود بخشید.
  • MobileViT: برای استقرار در دستگاه‌های موبایل و کم‌مصرف طراحی شده است که با ترکیب ویژگی‌های شبکه‌های پیچشی و ترانسفورمرها، کارایی را در محدودیت‌های سخت‌افزاری بهبود می‌بخشد.
• پتانسیل بالا برای یادگیری خودنظارتی: مدل‌هایی مانند MAE (Masked Autoencoders) نشان داده‌اند که ViT‌ها می‌توانند به طور مؤثر از یادگیری خودنظارتی بهره ببرند، جایی که بخش‌هایی از تصویر پنهان شده و مدل وظیفه بازسازی آن‌ها را دارد. این امر نیاز به داده‌های برچسب‌گذاری شده فراوان را کاهش می‌دهد.

این یافته‌ها تأکید می‌کنند که ViT و مشتقاتش نه تنها یک جایگزین قدرتمند برای CNN‌ها هستند، بلکه در حال گشودن افق‌های جدیدی در بینایی ماشین می‌باشند.

ViT و مشتقات آن به دلیل قابلیت‌های مدل‌سازی قوی و توانایی در درک روابط سراسری، در طیف وسیعی از وظایف بینایی ماشین و حوزه‌های مرتبط، دستاوردهای چشمگیری داشته‌اند:

• طبقه‌بندی تصویر (Image Classification): این حوزه اصلی‌ترین کاربرد ViT بوده است. عملکرد ViT در مجموعه داده‌هایی مانند ImageNet، به خصوص پس از پیش‌آموزش روی داده‌های بزرگ، از بسیاری از مدل‌های CNN پیشی گرفته است. این امر شامل طبقه‌بندی دقیق تصاویر در دسته‌های مختلف می‌شود.
• تشخیص شیء (Object Detection): ViT‌ها و به خصوص مشتقات سلسله‌مراتبی آن‌ها مانند Swin Transformer، در تشخیص و مکان‌یابی اشیاء متعدد در یک تصویر بسیار مؤثر بوده‌اند. این کاربرد در زمینه‌هایی مانند رانندگی خودران و سیستم‌های نظارتی حیاتی است. بنچمارک COCO گواه این عملکرد برتر است.
• بخش‌بندی معنایی (Semantic Segmentation): در این وظیفه که هدف آن برچسب‌گذاری پیکسلی هر ناحیه از تصویر با معنای خاص است، ViT‌ها به دلیل توانایی‌شان در درک بافت سراسری تصویر، به نتایج پیشرو در مجموعه داده‌هایی مانند ADE20k دست یافته‌اند. این کاربرد در تصویربرداری پزشکی، نقشه‌برداری و درک صحنه کاربرد دارد.
• بخش‌بندی نمونه (Instance Segmentation): با تشخیص هر شیء به صورت جداگانه و مشخص کردن مرزهای پیکسلی آن، ViT‌ها توانسته‌اند به دقت بالایی دست یابند که برای رباتیک و ویرایش تصویر ضروری است.
• بینایی ماشین پزشکی: ViT‌ها در تحلیل تصاویر پزشکی مانند MRI و CT اسکن برای تشخیص بیماری‌ها، بخش‌بندی تومورها و ارگان‌ها، و حتی پیش‌بینی سیر بیماری، نتایج امیدوارکننده‌ای نشان داده‌اند.
• سیستم‌های خودران: درک محیط اطراف برای خودروهای خودران امری حیاتی است. ViT‌ها می‌توانند در تشخیص عابران پیاده، خودروها، خطوط جاده و موانع دیگر نقش مهمی ایفا کنند.
• پردازش ویدئو: با تعمیم پچ‌های تصویری به پچ‌های مکانی-زمانی (spatio-temporal patches)، ViT‌ها برای تحلیل ویدئو، تشخیص فعالیت‌ها و درک صحنه‌های پویا نیز به کار گرفته شده‌اند.
• تولید محتوا (Generative Models): ViT‌ها در مدل‌های مولد مانند GAN‌ها یا Diffusion Models برای تولید تصاویر واقع‌گرایانه و دستکاری تصاویر موجود نیز مورد استفاده قرار می‌گیرند.

این دستاوردها نشان‌دهنده قابلیت ViT به عنوان یک معماری عمومی و قدرتمند برای طیف وسیعی از مسائل پیچیده بینایی ماشین است و پتانسیل آن را برای حل چالش‌های جدید در آینده نمایان می‌سازد.

مقاله “ترانسفورمر بینایی: ویت و مشتقات آن” مروری جامع بر یکی از هیجان‌انگیزترین و تأثیرگذارترین پیشرفت‌ها در حوزه بینایی ماشین ارائه می‌دهد. ViT با اقتباس موفقیت‌آمیز مکانیسم توجهی ترانسفورمر از پردازش زبان طبیعی، یک رویکرد جدید را برای تحلیل تصاویر به ارمغان آورده است. برخلاف شبکه‌های عصبی پیچشی (CNNs) که بر استخراج ویژگی‌های محلی تمرکز دارند، ViT با تقسیم تصویر به پچ‌ها و پردازش آن‌ها به عنوان یک دنباله، قادر است روابط سراسری و وابستگی‌های بلندمدت را در تصویر مدل‌سازی کند.

یافته‌های کلیدی این مطالعه نشان دادند که ViT به خصوص با آموزش بر روی داده‌های عظیم، قادر به دستیابی به عملکردی پیشرو در معیارهای مهمی مانند ImageNet، COCO و ADE20k است. همچنین، بررسی مشتقات ViT مانند DeiT، Swin Transformer، PVT و MobileViT، به وضوح نشان می‌دهد که این معماری چقدر انعطاف‌پذیر است و چگونه می‌توان آن را برای رفع چالش‌های خاص، از جمله کاهش نیاز به داده، بهبود کارایی در وظایف چگال، و بهینه‌سازی برای دستگاه‌های با منابع محدود، انطباق داد. کاربردهای گسترده ViT از طبقه‌بندی تصویر گرفته تا تشخیص شیء، بخش‌بندی معنایی و حتی حوزه‌های تخصصی‌تر مانند بینایی ماشین پزشکی و سیستم‌های خودران، بر اهمیت و تأثیرگذاری این فناوری صحه می‌گذارد.

با این حال، چالش‌هایی نظیر نیاز به حجم بالای داده‌های آموزشی، پیچیدگی محاسباتی و حافظه‌ای بالا برای تصاویر با وضوح بسیار زیاد، همچنان وجود دارد. تحقیقات آتی احتمالاً بر کاهش این محدودیت‌ها، بهبود کارایی و افزایش قابلیت تعمیم‌پذیری ViT در شرایط مختلف تمرکز خواهند کرد. در مجموع، ViT نه تنها یک ابزار قدرتمند جدید برای بینایی ماشین است، بلکه نمادی از پتانسیل بی‌کران یادگیری عمیق و نوآوری‌های بین‌رشته‌ای در هوش مصنوعی مدرن است.