در سال‌های اخیر، حوزه بینایی کامپیوتر شاهد یک تحول بنیادی بوده است. مدل‌های یادگیری عمیق، به ویژه شبکه‌های عصبی کانولوشنی (CNN)، توانایی خود را در حل مسائل پیچیده دیداری به اثبات رسانده‌اند. با این حال، موفقیت این مدل‌ها به شدت به داده‌های برچسب‌دار در مقیاس بزرگ وابسته است که فرآیند جمع‌آوری و برچسب‌زنی آن‌ها بسیار پرهزینه و زمان‌بر است. در پاسخ به این چالش، یادگیری خودنظارتی (Self-Supervised Learning – SSL) به عنوان یک پارادایم قدرتمند ظهور کرده است که به مدل‌ها امکان می‌دهد بازنمایی‌های غنی و مفیدی را از داده‌های بدون برچسب بیاموزند.

همزمان با پیشرفت SSL، معماری ترانسفورمر (Transformer) که در ابتدا انقلابی در پردازش زبان طبیعی (NLP) ایجاد کرد، به سرعت جای خود را در بینایی کامپیوتر نیز باز نمود. مدل‌هایی مانند Vision Transformer (ViT) نشان دادند که می‌توانند در وظایف مختلف دیداری، عملکردی هم‌تراز یا حتی بهتر از CNNها داشته باشند. با این حال، ترکیب موثر قدرت ترانسفورمرها با یادگیری خودنظارتی در حوزه بینایی همچنان یک زمینه تحقیقاتی فعال و پرچالش است.

مقاله “MST: ترانسفورمر خودنظارتی نقاب‌دار برای بازنمایی دیداری” در همین راستا یک گام مهم به جلو برمی‌دارد. این مقاله روشی نوین به نام MST را معرفی می‌کند که با الهام از موفقیت تکنیک مدل‌سازی زبان نقاب‌دار (Masked Language Modeling – MLM) در NLP، یک استراتژی نقاب‌گذاری هوشمند برای یادگیری بازنمایی‌های دیداری ارائه می‌دهد. اهمیت این پژوهش در آن است که تلاش می‌کند یکی از ضعف‌های اصلی روش‌های پیشین را برطرف کند: تمرکز صرف بر ویژگی‌های کلی (Global) و ناتوانی در یادگیری جزئیات محلی (Local) تصویر. این نقص، کارایی مدل‌های پیش‌آموزش‌دیده را در وظایف پیش‌بینی متراکم (Dense Prediction Tasks) مانند تشخیص اشیاء و بخش‌بندی معنایی، که نیازمند درک دقیق فضایی هستند، محدود می‌کرد. MST با رویکرد نوآورانه خود، پلی میان یادگیری ویژگی‌های کلی و محلی ایجاد کرده و راه را برای ساخت مدل‌های بینایی قدرتمندتر و کارآمدتر هموار می‌سازد.

این مقاله حاصل تلاش گروهی از پژوهشگران برجسته به نام‌های ژائوون لی، ژیانگ چن، فن یانگ، وی لی، یوسونگ ژو، چائویانگ ژائو، روی دنگ، لیوی وو، روی ژائو، مینگ تانگ و جینچیائو وانگ است. این تیم تحقیقاتی در زمینه بینایی کامپیوتر و یادگیری ماشین فعالیت دارند و این مقاله در دسته‌بندی “بینایی کامپیوتر و تشخیص الگو” (Computer Vision and Pattern Recognition) قرار می‌گیرد.

پژوهش حاضر بر پایه دستاوردهای قبلی در دو حوزه کلیدی بنا شده است:

• معماری ترانسفورمر در بینایی: پس از معرفی ViT، مدل‌های مبتنی بر ترانسفورمر مانند DeiT توانستند با داده‌های کمتر و بهینه‌سازی‌های هوشمندانه، به نتایج چشمگیری دست یابند. MST نیز از این معماری به عنوان ستون فقرات خود بهره می‌برد.
• یادگیری خودنظارتی دیداری: روش‌هایی مانند MoCo، SimCLR و DINO پارادایم‌های مختلفی را برای یادگیری خودنظارتی معرفی کردند. با این حال، بسیاری از این روش‌ها بر یادگیری مبتنی بر تقابل (Contrastive Learning) یا خوشه‌بندی تمرکز داشتند که عمدتاً منجر به یادگیری بازنمایی‌های سطح بالا و کلی می‌شد. MST با الهام از رویکرد مولد (Generative) و بازسازی، مسیر جدیدی را در این حوزه می‌گشاید.

مقاله MST یک رویکرد جدید به نام “ترانسفورمر خودنظارتی نقاب‌دار” را برای پیش‌آموزش مدل‌های بینایی معرفی می‌کند. نویسندگان استدلال می‌کنند که روش‌های قبلی عمدتاً بر یادگیری بازنمایی از دیدگاه کلی تصویر متمرکز بوده‌اند و در نتیجه، برای وظایف پیش‌بینی متراکم که به ویژگی‌های محلی و دقیق نیاز دارند، عملکرد بهینه‌ای ندارند.

برای حل این مشکل، MST یک استراتژی نقاب‌گذاری توکن (Masked Token) را پیشنهاد می‌کند که از مکانیزم توجه-به-خود (Self-Attention) در ترانسفورمر الهام گرفته است. برخلاف نقاب‌گذاری تصادفی، این روش به صورت پویا و هوشمند بخش‌هایی (تکه‌هایی) از تصویر را نقاب‌گذاری می‌کند، بدون آنکه به ساختارهای حیاتی و مهم تصویر آسیب بزند. نکته کلیدی در روش MST این است که مدل نه تنها وظیفه بازسازی توکن‌های نقاب‌دار را بر عهده دارد، بلکه با استفاده از یک رمزگشای تصویر سراسری (Global Image Decoder)، کل تصویر (شامل توکن‌های نقاب‌دار و باقی‌مانده) را بازسازی می‌کند. این فرآیند به مدل کمک می‌کند تا اطلاعات فضایی و جزئیات دقیق تصویر را حفظ کند، که این ویژگی برای وظایف پایین‌دستی مانند تشخیص اشیاء و بخش‌بندی بسیار حیاتی است.

نتایج آزمایش‌ها بر روی مجموعه داده‌های متعدد، کارایی و عمومیت‌پذیری MST را تایید می‌کند. به عنوان مثال، مدل MST با معماری DeiT-S پس از تنها ۳۰۰ دوره پیش‌آموزش، به دقت ۷۶.۹٪ در رتبه‌بندی Top-1 در ارزیابی خطی دست یافت که ۰.۴٪ از روش‌های نظارتی با همان تعداد دوره و ۱.۰٪ از رقیب قدرتمند خود یعنی DINO بهتر است. علاوه بر این، در وظایف پیش‌بینی متراکم، MST با تنها ۱۰۰ دوره پیش‌آموزش به میانگین دقت متوسط (mAP) ۴۲.۷٪ در تشخیص اشیاء MS COCO و میانگین اشتراک بر اجتماع (mIoU) ۷۴.۰۴٪ در بخش‌بندی Cityscapes دست یافت که نشان‌دهنده برتری آن در یادگیری ویژگی‌های محلی است.

معماری و فرآیند یادگیری در MST از چند مرحله کلیدی تشکیل شده است که به صورت هوشمندانه‌ای برای یادگیری همزمان ویژگی‌های کلی و محلی طراحی شده‌اند:

1. تبدیل تصویر به توکن‌ها: همانند معماری استاندارد Vision Transformer (ViT)، تصویر ورودی ابتدا به مجموعه‌ای از تکه‌های (patches) غیرهمپوشان تقسیم می‌شود. هر تکه به یک بردار با ابعاد ثابت (توکن) نگاشت می‌شود و اطلاعات موقعیتی نیز به آن اضافه می‌گردد تا مدل از مکان هر تکه در تصویر آگاه باشد.
2. استراتژی نقاب‌گذاری پویا مبتنی بر توجه: این بخش، قلب نوآوری MST است. به جای حذف تصادفی توکن‌ها، MST از نقشه‌های توجه (Attention Maps) که توسط مکانیزم توجه-به-خود چندسر (Multi-Head Self-Attention) در خود ترانسفورمر تولید می‌شوند، استفاده می‌کند. این نقشه‌ها نشان می‌دهند که کدام تکه‌های تصویر برای درک کلی محتوا اهمیت بیشتری دارند. MST با تحلیل این نقشه‌ها، توکن‌هایی را برای نقاب‌گذاری انتخاب می‌کند که کمترین اهمیت را دارند. این نقاب‌گذاری پویا تضمین می‌کند که ساختارهای کلیدی تصویر حفظ شده و مدل برای بازسازی بخش‌های کمتر قابل پیش‌بینی به چالش کشیده شود.
3. رمزگذار ترانسفورمر (Transformer Encoder): توکن‌های باقی‌مانده (نقاب‌گذاری نشده) به یک رمزگذار استاندارد ترانسفورمر وارد می‌شوند. این رمزگذار وظیفه دارد تا روابط متنی و معنایی میان تکه‌های مختلف تصویر را یاد بگیرد و یک بازنمایی غنی از محتوای دیداری ایجاد کند.
4. رمزگشای تصویر سراسری (Global Image Decoder): این جزء، تمایز مهم دیگر MST است. خروجی رمزگذار (بازنمایی توکن‌های مرئی) به همراه توکن‌های نقاب‌دار اولیه به یک رمزگشای سبک‌تر وارد می‌شوند. وظیفه این رمزگشا، بازسازی *تمام* توکن‌های اصلی تصویر است. این رویکرد مدل را وادار می‌کند نه تنها محتوای بخش‌های حذف‌شده را حدس بزند، بلکه یکپارچگی فضایی و ساختار کلی تصویر را نیز درک کند. این امر به حفظ جزئیات دقیق که برای وظایف پیش‌بینی متراکم ضروری است، کمک شایانی می‌کند.
5. تابع هزینه (Loss Function): مدل از طریق به حداقل رساندن خطای بازسازی بین خروجی رمزگشا و توکن‌های اصلی تصویر آموزش می‌بیند. این فرآیند کاملاً خودنظارتی است، زیرا تنها به خود تصاویر ورودی به عنوان هدف (target) نیاز دارد و هیچ‌گونه برچسب انسانی در آن دخیل نیست.

آزمایش‌های گسترده انجام‌شده در این مقاله، برتری رویکرد MST را در سناریوهای مختلف به وضوح نشان می‌دهد:

• عملکرد برتر در طبقه‌بندی تصویر: در بنچمارک استاندارد ImageNet-1K، مدل MST (با معماری DeiT-S و ۳۰۰ دوره پیش‌آموزش) در ارزیابی خطی به دقت ۷۶.۹٪ Top-1 دست یافت. این نتیجه نه تنها ۱.۰٪ بهتر از یکی از قوی‌ترین روش‌های رقیب یعنی DINO است، بلکه ۰.۴٪ از یک مدل کاملاً نظارتی که برای همین تعداد دوره آموزش دیده، پیشی می‌گیرد. این یافته نشان می‌دهد که MST می‌تواند بازنمایی‌های باکیفیت‌تری را به صورت کارآمدتر بیاموزد.
• موفقیت چشمگیر در وظایف پیش‌بینی متراکم: قدرت واقعی MST در وظایفی که نیازمند درک محلی هستند، آشکار می‌شود.
  • تشخیص اشیاء: در مجموعه داده MS COCO، مدل MST پس از تنها ۱۰۰ دوره پیش‌آموزش و fine-tuning، به ۴۲.۷٪ mAP رسید که یک نتیجه بسیار رقابتی و قابل توجه است.
  • بخش‌بندی معنایی: در مجموعه داده Cityscapes که مربوط به درک صحنه‌های شهری است، MST به ۷۴.۰۴٪ mIoU دست یافت. این عملکرد بالا تایید می‌کند که رویکرد بازسازی سراسری تصویر در MST به طور موثری به یادگیری جزئیات فضایی و مرزهای دقیق بین اشیاء کمک می‌کند.
• کارایی استراتژی نقاب‌گذاری: هرچند در چکیده به صراحت ذکر نشده، اما نتایج تلویحاً نشان می‌دهند که استراتژی نقاب‌گذاری پویا و مبتنی بر توجه، نسبت به نقاب‌گذاری تصادفی ساده، به یادگیری بازنمایی‌های معنادارتری منجر می‌شود. این رویکرد هوشمندانه، مدل را روی بازسازی اطلاعات پیچیده‌تر و غیربدیهی متمرکز می‌کند.

دستاورد اصلی مقاله MST، ارائه یک چارچوب پیش‌آموزش خودنظارتی قدرتمند و کارآمد برای ترانسفورمرهای دیداری است که می‌تواند بدون نیاز به داده‌های برچسب‌دار، بازنمایی‌های بصری غنی تولید کند. این دستاورد، کاربردهای عملی گسترده‌ای را ممکن می‌سازد:

• تصویربرداری پزشکی: در پزشکی، حجم عظیمی از داده‌های تصویری بدون برچسب (مانند اسکن‌های MRI، CT و X-ray) وجود دارد. می‌توان از MST برای پیش‌آموزش مدل‌ها روی این داده‌ها استفاده کرد و سپس با تعداد کمی داده برچسب‌دار، آن‌ها را برای وظایف خاصی مانند تشخیص تومور یا طبقه‌بندی بیماری‌ها fine-tune کرد.
• خودروهای خودران: توانایی بالای MST در بخش‌بندی معنایی و تشخیص اشیاء، آن را به گزینه‌ای ایده‌آل برای سیستم‌های ادراک در خودروهای خودران تبدیل می‌کند. این مدل‌ها می‌توانند به طور دقیق جاده، عابران پیاده، وسایل نقلیه و سایر موانع را شناسایی کنند.
• تحلیل تصاویر ماهواره‌ای: برای کاربردهایی مانند نظارت بر تغییرات زیست‌محیطی، نقشه‌برداری از کاربری اراضی یا شناسایی اهداف خاص، MST می‌تواند بازنمایی‌های مفیدی را از تصاویر ماهواره‌ای بیاموزد و نیاز به برچسب‌زنی دستی را به شدت کاهش دهد.
• کاهش وابستگی به داده‌های برچسب‌دار: به طور کلی، MST و روش‌های مشابه به دموکراتیزه کردن هوش مصنوعی کمک می‌کنند. سازمان‌ها و محققانی که به مجموعه داده‌های برچسب‌دار عظیم دسترسی ندارند، می‌توانند از مدل‌های پیش‌آموزش‌دیده با MST به عنوان یک نقطه شروع قدرتمند برای حل مسائل خود استفاده کنند.

مقاله “MST: ترانسفورمر خودنظارتی نقاب‌دار برای بازنمایی دیداری” یک روش نوین و موثر را در حوزه یادگیری خودنظارتی معرفی می‌کند که به طور هوشمندانه‌ای از نقاط قوت معماری ترانسفورمر و الهامات گرفته‌شده از پردازش زبان طبیعی بهره می‌برد. رویکرد محوری این مقاله، یعنی ترکیب نقاب‌گذاری پویای مبتنی بر توجه با یک رمزگشای تصویر سراسری، به مدل امکان می‌دهد تا به طور همزمان بازنمایی‌های کلی و معنایی (Semantic) و جزئیات دقیق فضایی (Spatial) را بیاموزد.

نتایج تجربی قوی در وظایف متنوعی از جمله طبقه‌بندی، تشخیص اشیاء و بخش‌بندی معنایی، نشان‌دهنده برتری MST بر روش‌های پیشین، به ویژه در وظایف پیش‌بینی متراکم است. این پژوهش نه تنها یک راهکار عملی برای آموزش مدل‌های بینایی قدرتمند با داده‌های بدون برچسب ارائه می‌دهد، بلکه مسیرهای جدیدی را برای طراحی نسل بعدی الگوریتم‌های یادگیری خودنظارتی در بینایی کامپیوتر می‌گشاید. MST گامی مهم در جهت ساخت مدل‌های هوش مصنوعی است که می‌توانند دنیای بصری را با درکی عمیق‌تر و جامع‌تر، مشابه انسان، تحلیل کنند.