معرفی مقاله و اهمیت آن

در سال‌های اخیر، حوزه بینایی ماشین (Computer Vision) شاهد پیشرفت‌های چشمگیری بوده است که بخش عمده آن مرهون توسعه یادگیری عمیق (Deep Learning) است. با این حال، دستیابی به عملکرد بالا در بسیاری از وظایف بینایی ماشین نیازمند دسترسی به مجموعه داده‌های برچسب‌گذاری شده در مقیاس بسیار بزرگ است که این امر خود چالش‌های قابل توجهی را از نظر هزینه، زمان و نیروی انسانی ایجاد می‌کند. در پاسخ به این چالش، یادگیری خود-نظارتی (Self-supervised Learning – SSL) به عنوان یک پارادایم قدرتمند و امیدوارکننده ظهور کرده است که هدف آن استخراج ویژگی‌های مفید از داده‌های بدون برچسب است. این رویکرد به ویژه در پردازش زبان‌های طبیعی (NLP) موفقیت‌های بی‌سابقه‌ای را تجربه کرده و ترانسفورمرها (Transformers) به عنوان معماری اصلی در این زمینه شناخته شده‌اند.

مقاله “SiT: Self-supervised vIsion Transformer” که با عنوان فارسی “SiT: ترانسفورمر بینایی خود-نظارتی” شناخته می‌شود، در این بستر تاریخی قرار می‌گیرد. این پژوهش به بررسی عمیق و توسعه روش‌های یادگیری خود-نظارتی برای پیش‌آموزش ترانسفورمرهای تصویری (Vision Transformers – ViT) می‌پردازد. تا پیش از این، ViTها عمدتاً با استفاده از داده‌های نظارت‌شده در مقیاس وسیع (مانند ImageNet) یا با نوعی هم‌نظارت (co-supervision) پیش‌آموزش داده می‌شدند. هدف اصلی این مقاله پر کردن شکاف بین موفقیت ترانسفورمرها در NLP با رویکردهای خود-نظارتی و نیاز مشابه در بینایی ماشین است. اهمیت این کار در این است که با کاهش وابستگی به داده‌های برچسب‌گذاری‌شده، راه را برای کاربردهای گسترده‌تر و دسترسی‌پذیری بیشتر یادگیری عمیق در بینایی ماشین هموار می‌سازد.

نویسندگان و زمینه تحقیق

این مقاله توسط سارا آتیتو (Sara Atito)، محمد اویس (Muhammad Awais) و جوزف کیتلر (Josef Kittler) ارائه شده است. این تیم پژوهشی با تخصص در زمینه‌های بینایی کامپیوتر و تشخیص الگو (Computer Vision and Pattern Recognition) و یادگیری ماشین (Machine Learning)، در خط مقدم تحقیقات مربوط به ترانسفورمرها و یادگیری خود-نظارتی قرار دارند.

سابقه تحقیقاتی نویسندگان نشان می‌دهد که آنها در حوزه‌ای فعالیت می‌کنند که به دنبال ادغام و بهره‌برداری از نقاط قوت مدل‌های ترانسفورمر در وظایف بینایی هستند. جوزف کیتلر به ویژه یکی از چهره‌های شناخته‌شده در بینایی ماشین و تشخیص الگو است و همکاری وی اعتبار علمی بالایی به این پژوهش می‌بخشد. تحقیقات آنها نه تنها بر توسعه مدل‌های نظری تمرکز دارد، بلکه بر کارایی عملی و قابلیت انتقال (transferability) این مدل‌ها نیز تأکید دارد.

زمینه تحقیق این مقاله در تقاطع سه حوزه اصلی یادگیری عمیق قرار می‌گیرد:

• ترانسفورمرها: معماری که از سال ۲۰۱۷ در NLP انقلابی ایجاد کرده و اکنون در حال گسترش به بینایی ماشین است.
• یادگیری خود-نظارتی: روشی برای آموزش مدل‌ها بدون نیاز به برچسب‌های انسانی، با ایجاد وظایف ساختگی از خود داده‌ها.
• بینایی ماشین: حوزه گسترده‌ای که شامل پردازش، تحلیل و درک تصاویر و ویدئوها می‌شود.

این همگرایی از رویکردهای پیشرفته، این پژوهش را به یکی از مهم‌ترین گام‌ها در جهت توسعه مدل‌های بینایی ماشین کارآمد و مستقل از داده‌های برچسب‌گذاری شده تبدیل کرده است.

چکیده و خلاصه محتوا

چکیده مقاله به وضوح هدف و دستاوردهای اصلی کار را بیان می‌کند. در وهله اول، به این نکته اشاره می‌شود که روش‌های یادگیری خود-نظارتی به دلیل موفقیت‌های اخیر خود در کاهش فاصله با یادگیری نظارت‌شده، به طور فزاینده‌ای در بینایی ماشین مورد توجه قرار گرفته‌اند. در NLP، یادگیری خود-نظارتی و ترانسفورمرها از قبل به روش‌های انتخابی تبدیل شده‌اند و ادبیات اخیر نیز نشان می‌دهد که ترانسفورمرها در بینایی ماشین نیز به سرعت در حال محبوبیت هستند.

نقطه کانونی تحقیق این است که تا کنون، ترانسفورمرهای بینایی عمدتاً زمانی که با داده‌های نظارت‌شده در مقیاس بزرگ یا با نوعی هم‌نظارت (مانند شبکه معلم) پیش‌آموزش داده می‌شوند، عملکرد خوبی از خود نشان داده‌اند. این ترانسفورمرهای بینایی که با نظارت پیش‌آموزش دیده‌اند، با حداقل تغییرات، نتایج بسیار خوبی در وظایف بعدی (downstream tasks) به دست می‌آورند. اما این پژوهش به بررسی مزایای یادگیری خود-نظارتی برای پیش‌آموزش ترانسفورمرهای تصویری/بینایی و سپس استفاده از آنها برای وظایف طبقه‌بندی می‌پردازد.

نویسندگان ترانسفورمرهای بینایی خود-نظارتی (Self-supervised vIsion Transformers – SiT) را پیشنهاد می‌کنند و چندین سازوکار آموزشی خود-نظارتی را برای به دست آوردن یک مدل پیش‌آموزش‌داده‌شده (pretext model) مورد بحث قرار می‌دهند. انعطاف‌پذیری معماری SiT به آن اجازه می‌دهد تا به عنوان یک خودرمزگذار (autoencoder) عمل کند و به طور یکپارچه با چندین وظیفه خود-نظارتی کار کند. آنها نشان می‌دهند که یک SiT پیش‌آموزش‌داده‌شده می‌تواند برای یک وظیفه طبقه‌بندی بعدی بر روی مجموعه‌داده‌های کوچک، متشکل از چند هزار تصویر به جای چندین میلیون تصویر، تنظیم دقیق (finetune) شود.

رویکرد پیشنهادی بر روی مجموعه‌داده‌های استاندارد با استفاده از پروتکل‌های رایج ارزیابی می‌شود. نتایج قدرت ترانسفورمرها و مناسب بودن آنها برای یادگیری خود-نظارتی را نشان می‌دهد. محققان توانسته‌اند از روش‌های موجود یادگیری خود-نظارتی با اختلاف زیادی پیشی بگیرند. همچنین مشاهده کردند که SiT برای یادگیری با تعداد نمونه‌های کم (few-shot learning) نیز مناسب است و نشان دادند که با آموزش یک طبقه‌بند خطی ساده بر روی ویژگی‌های آموخته‌شده از SiT، بازنمایی‌های مفید و کارآمدی یاد می‌گیرد.

کدهای مربوط به پیش‌آموزش، تنظیم دقیق و ارزیابی نیز برای استفاده عموم در گیت‌هاب منتشر خواهند شد: https://github.com/Sara-Ahmed/SiT.

روش‌شناسی تحقیق

روش‌شناسی تحقیق در مقاله SiT بر اساس یک رویکرد دو مرحله‌ای استوار است که در یادگیری ماشین عمیق متداول است: پیش‌آموزش (Pretraining) و تنظیم دقیق (Finetuning). تفاوت اساسی در اینجاست که مرحله پیش‌آموزش به جای استفاده از نظارت انسانی، از یادگیری خود-نظارتی بهره می‌برد.

۱. معماری SiT

هسته اصلی این روش، توسعه معماری SiT (Self-supervised vIsion Transformer) است. ترانسفورمرها، که در ابتدا برای پردازش زبان طبیعی طراحی شده بودند، به دلیل توانایی‌شان در مدل‌سازی وابستگی‌های بلندمدت بین عناصر ورودی، به بینایی ماشین نیز راه یافته‌اند. معماری SiT برای استفاده بهینه از قدرت ترانسفورمرها در زمینه خود-نظارتی طراحی شده است. یکی از ویژگی‌های کلیدی SiT، انعطاف‌پذیری معماری آن است که اجازه می‌دهد به عنوان یک خودرمزگذار (autoencoder) عمل کند. این قابلیت به مدل اجازه می‌دهد تا از طریق بازسازی ورودی خود (مثلاً بازسازی بخش‌های پنهان‌شده یک تصویر)، ویژگی‌های مفید و غنی را بدون نیاز به برچسب‌های خارجی یاد بگیرد.

۲. سازوکارهای آموزش خود-نظارتی

مقاله چندین سازوکار آموزشی خود-نظارتی را برای پیش‌آموزش SiT مورد بررسی قرار می‌دهد. اگرچه جزئیات دقیق این سازوکارها در چکیده ارائه نشده، اما می‌توان حدس زد که شامل رویکردهایی مشابه موارد زیر هستند که در ادبیات SSL متداول‌اند:

• مدل‌سازی ماسک شده (Masked Modeling): مشابه آنچه در BERT (برای NLP) انجام می‌شود، بخش‌هایی از تصویر پنهان (ماسک) می‌شوند و مدل وظیفه دارد تا این بخش‌های پنهان را پیش‌بینی کند. این کار می‌تواند در سطح پچ‌های تصویری (image patches) انجام شود.
• یادگیری کنتراستیو (Contrastive Learning): مدل سعی می‌کند نمونه‌های مشابه را در فضای ویژگی به هم نزدیک و نمونه‌های نامشابه را از هم دور کند. این روش به ویژه در یادگیری بازنمایی‌های قوی موفق بوده است.
• پیش‌بینی ویژگی‌های متنی (Contextual Feature Prediction): مدل با نگاه کردن به یک بخش از تصویر، ویژگی‌های مربوط به بخش‌های دیگر را پیش‌بینی می‌کند.
• خود-تقطیر (Self-Distillation): استفاده از یک مدل “معلم” که خودش از داده‌های بدون برچسب آموزش دیده است تا دانش خود را به یک مدل “دانش‌آموز” منتقل کند.

ترکیب این سازوکارها به SiT امکان می‌دهد تا به طور همزمان از چندین جنبه مختلف داده‌های تصویری بدون برچسب یاد بگیرد و بازنمایی‌های جامع‌تری را تشکیل دهد.

۳. پیش‌آموزش و تنظیم دقیق

مدل SiT ابتدا بر روی مجموعه‌داده‌های بزرگ بدون برچسب (که می‌تواند شامل میلیون‌ها تصویر باشد اما نیازی به برچسب‌گذاری آنها نیست) با استفاده از وظایف خود-نظارتی پیش‌آموزش داده می‌شود. پس از این مرحله، مدل دارای یک مجموعه وزن اولیه است که ویژگی‌های عمومی تصویر را درک می‌کند. سپس، این مدل پیش‌آموزش‌داده‌شده برای وظایف طبقه‌بندی بعدی (مانند تشخیص اشیاء یا طبقه‌بندی دقیق‌تر) بر روی مجموعه‌داده‌های کوچک و برچسب‌گذاری شده (فقط چند هزار تصویر) تنظیم دقیق می‌شود. این رویکرد به مدل اجازه می‌دهد تا دانش عمومی کسب شده را به وظایف خاص منتقل کند، حتی اگر داده‌های برچسب‌گذاری شده برای آن وظیفه بسیار محدود باشند.

۴. ارزیابی و پروتکل‌ها

برای اطمینان از اعتبار نتایج، رویکرد پیشنهادی بر روی مجموعه‌داده‌های استاندارد (مانند CIFAR-10، CIFAR-100، ImageNetSubset) و با استفاده از پروتکل‌های ارزیابی رایج در بینایی ماشین ارزیابی شده است. این شامل معیارهایی مانند دقت (accuracy)، F1-score و مقایسه با روش‌های یادگیری خود-نظارتی پیشین است.

یافته‌های کلیدی

نتایج حاصل از پژوهش SiT چندین یافته کلیدی و مهم را به نمایش می‌گذارد که به شرح زیر است:

• برتری چشمگیر نسبت به روش‌های موجود: SiT توانست با اختلاف قابل توجهی از روش‌های یادگیری خود-نظارتی پیشین بهتر عمل کند. این نشان‌دهنده اثربخشی بالای معماری پیشنهادی و سازوکارهای آموزشی خود-نظارتی آن است. این برتری نه تنها در یک معیار، بلکه در سناریوهای مختلف و روی مجموعه‌داده‌های گوناگون مشاهده شد.
• مناسبت ترانسفورمرها برای یادگیری خود-نظارتی: این تحقیق به وضوح نشان می‌دهد که ترانسفورمرها به طور ذاتی برای یادگیری خود-نظارتی در حوزه بینایی ماشین مناسب هستند. توانایی آنها در مدل‌سازی روابط پیچیده و بلندمدت درون داده‌ها، در کنار انعطاف‌پذیری معماری‌شان، آنها را به کاندیدای ایده‌آلی برای این رویکرد تبدیل می‌کند.
• تنظیم دقیق مؤثر بر روی داده‌های کم‌حجم: یکی از چشمگیرترین یافته‌ها این است که SiT پیش‌آموزش‌داده‌شده می‌تواند بر روی مجموعه‌داده‌های طبقه‌بندی با مقیاس کوچک (شامل تنها چند هزار تصویر به جای چندین میلیون) به نتایج بسیار خوبی دست یابد. این یک گام بزرگ رو به جلو در کاهش نیاز به داده‌های برچسب‌گذاری شده فراوان است.
• عملکرد قوی در یادگیری با تعداد نمونه‌های کم (Few-Shot Learning): SiT در سناریوهای یادگیری با تعداد نمونه‌های کم (few-shot learning) نیز عملکردی عالی از خود نشان داد. این بدان معناست که مدل قادر است تنها با مشاهده چند نمونه از یک کلاس، آن را به خوبی شناسایی و طبقه‌بندی کند، که این قابلیت برای کاربردهایی که جمع‌آوری داده‌های برچسب‌دار دشوار یا گران است، بسیار ارزشمند است.
• یادگیری بازنمایی‌های مفید: نتایج نشان داد که SiT بازنمایی‌های تصویری بسیار مفیدی یاد می‌گیرد. این امر با آموزش یک طبقه‌بند خطی ساده بر روی ویژگی‌های استخراج‌شده از SiT و دستیابی به عملکرد بالا تأیید شد. این نشان می‌دهد که مدل قادر است اطلاعات معنایی غنی و قابل انتقال را از داده‌های بدون برچسب استخراج کند.
• انعطاف‌پذیری معماری به عنوان خودرمزگذار: قابلیت SiT برای عمل به عنوان یک خودرمزگذار و مدیریت یکپارچه چندین وظیفه خود-نظارتی، نشان‌دهنده طراحی معماری قدرتمند و هوشمندانه آن است.

این یافته‌ها در مجموع نشان‌دهنده یک پیشرفت مهم در زمینه بینایی ماشین خود-نظارتی هستند و مسیرهای جدیدی را برای توسعه مدل‌های کارآمدتر و مستقل‌تر از برچسب‌های انسانی گشوده‌اند.

کاربردها و دستاوردها

دستاوردهای حاصل از پژوهش SiT پیامدهای گسترده‌ای در حوزه‌های مختلف بینایی ماشین و یادگیری عمیق دارند. این کاربردها و دستاوردها نه تنها در سطح نظری، بلکه در جنبه‌های عملی نیز بسیار حائز اهمیت هستند:

• کاهش چشمگیر نیاز به داده‌های برچسب‌گذاری شده: شاید مهم‌ترین دستاورد SiT، کاهش قابل توجه نیاز به مجموعه‌داده‌های برچسب‌گذاری شده در مقیاس بزرگ باشد. این امر هزینه‌ها و زمان لازم برای توسعه سیستم‌های بینایی ماشین را به شدت کاهش می‌دهد و به محققان و شرکت‌های کوچک‌تر اجازه می‌دهد تا بدون نیاز به منابع عظیم برای برچسب‌گذاری داده‌ها، مدل‌های قدرتمندی توسعه دهند.
• مدل‌های پایه (Foundation Models) برای بینایی: SiT گامی مهم در جهت ایجاد مدل‌های پایه خود-نظارتی در بینایی ماشین است، مشابه آنچه در NLP با مدل‌هایی مانند BERT و GPT اتفاق افتاده است. این مدل‌های پیش‌آموزش‌داده‌شده می‌توانند به عنوان نقطه شروع برای طیف وسیعی از وظایف بینایی ماشین عمل کنند و با تنظیم دقیق بر روی داده‌های محدود، نتایج برجسته‌ای به دست آورند.
• کاربردهای بهبودیافته در یادگیری با تعداد نمونه‌های کم: عملکرد برتر SiT در یادگیری با تعداد نمونه‌های کم (few-shot learning)، آن را برای حوزه‌هایی که جمع‌آوری داده‌های کافی برای هر کلاس دشوار است، بسیار مناسب می‌سازد. به عنوان مثال:
  • تصویربرداری پزشکی: تشخیص بیماری‌های نادر که داده‌های برچسب‌گذاری شده کمی دارند.
  • بازرسی صنعتی: شناسایی عیوب در محصولات جدید که هنوز نمونه‌های زیادی از آنها وجود ندارد.
  • کشاورزی هوشمند: تشخیص آفات یا بیماری‌های گیاهی نوظهور.
• یادگیری ویژگی‌های قابل انتقال (Transferable Features): بازنمایی‌های غنی و مفیدی که SiT یاد می‌گیرد، به خوبی برای وظایف مختلف قابل انتقال هستند. این بدان معناست که یک مدل پیش‌آموزش‌داده‌شده می‌تواند نه تنها برای طبقه‌بندی، بلکه برای وظایفی مانند تشخیص اشیاء (Object Detection)، تقسیم‌بندی معنایی (Semantic Segmentation)، بازیابی تصویر (Image Retrieval) و حتی تولید تصویر (Image Generation) نیز مورد استفاده قرار گیرد.
• دموکراتیزه کردن هوش مصنوعی: با کاهش وابستگی به داده‌های برچسب‌گذاری شده و سخت‌افزارهای گران‌قیمت برای پیش‌آموزش نظارت‌شده، SiT به دموکراتیزه کردن فناوری هوش مصنوعی کمک می‌کند و آن را برای طیف وسیع‌تری از پژوهشگران و توسعه‌دهندگان قابل دسترس می‌سازد.
• پیشبرد پژوهش در بینایی ماشین: این مقاله نه تنها یک مدل موفق را معرفی می‌کند، بلکه با نشان دادن قدرت ترانسفورمرها در ترکیب با یادگیری خود-نظارتی، مسیرهای جدیدی را برای تحقیقات آتی در زمینه معماری‌های مدل، وظایف پیش‌آموزش خود-نظارتی و روش‌های تنظیم دقیق باز می‌کند.

به طور خلاصه، SiT یک گام رو به جلو در جهت ساخت سیستم‌های بینایی ماشینی هوشمندتر، کارآمدتر و مستقل‌تر از برچسب‌های انسانی است که می‌تواند تأثیرات عمیقی بر آینده این حوزه داشته باشد.

نتیجه‌گیری

پژوهش “SiT: Self-supervised vIsion Transformer” یک نقطه عطف مهم در تکامل بینایی ماشین مدرن محسوب می‌شود. در عصری که حجم عظیمی از داده‌های بصری تولید می‌شود اما برچسب‌گذاری آنها یک گلوگاه بزرگ است، رویکردهای یادگیری خود-نظارتی بیش از پیش حیاتی می‌شوند. این مقاله با موفقیت نشان می‌دهد که چگونه می‌توان قدرت بی‌نظیر ترانسفورمرها را با اصول یادگیری خود-نظارتی ادغام کرد تا مدل‌های بینایی ماشینی ایجاد شوند که نه تنها در عملکرد برترند، بلکه کارایی بی‌سابقه‌ای در استفاده از داده‌ها دارند.

مهم‌ترین سهم SiT در ارائه یک چارچوب معماری انعطاف‌پذیر است که می‌تواند به عنوان یک خودرمزگذار عمل کرده و از چندین سازوکار آموزشی خود-نظارتی به طور همزمان بهره‌برداری کند. این انعطاف‌پذیری، همراه با توانایی تنظیم دقیق بر روی مجموعه‌داده‌های کوچک (حتی تنها چند هزار تصویر)، SiT را به یک ابزار قدرتمند برای حل چالش‌های دنیای واقعی تبدیل می‌کند. نتایج تجربی، از جمله پیشی گرفتن از روش‌های موجود یادگیری خود-نظارتی با اختلاف زیاد و اثبات کارایی در یادگیری با تعداد نمونه‌های کم، به وضوح برتری این رویکرد را نشان می‌دهد.

این تحقیق نه تنها مناسب بودن ترانسفورمرها را برای یادگیری خود-نظارتی در بینایی ماشین اثبات می‌کند، بلکه مسیر را برای توسعه مدل‌های پایه (Foundation Models) در این حوزه هموار می‌سازد که می‌توانند به عنوان ستون فقرات برای طیف وسیعی از کاربردهای بینایی، از جمله تشخیص چهره، طبقه‌بندی اشیاء، و تحلیل صحنه، با حداقل نیاز به داده‌های برچسب‌گذاری شده، عمل کنند. این دستاورد، امید به دموکراتیزه کردن هوش مصنوعی و کاهش موانع ورود برای پژوهشگران و توسعه‌دهندگان را افزایش می‌دهد.

در نهایت، SiT یک گام قاطع به سوی آینده‌ای است که در آن سیستم‌های هوش مصنوعی می‌توانند به طور مستقل از داده‌های بدون برچسب یاد بگیرند، ویژگی‌های عمومی و قابل انتقال را استخراج کنند و تنها با مقدار کمی از داده‌های برچسب‌گذاری شده برای وظایف خاص، تطبیق یابند. انتشار کد مربوط به پیش‌آموزش، تنظیم دقیق و ارزیابی در گیت‌هاب نیز گامی ارزشمند در جهت شفافیت و ترویج همکاری‌های علمی است و به جامعه پژوهشی این امکان را می‌دهد تا از این دستاوردها بهره‌برداری کرده و بر مبنای آنها نوآوری‌های بیشتری را خلق کند. (کدهای پروژه در آدرس https://github.com/Sara-Ahmed/SiT در دسترس خواهد بود).