در سال‌های اخیر، معماری ترانسفورمر (Transformer) که ابتدا انقلابی در حوزه پردازش زبان طبیعی (NLP) ایجاد کرد، به سرعت جایگاه خود را در دنیای بینایی کامپیوتر (Computer Vision) نیز پیدا کرده است. مدل‌هایی مانند Vision Transformer (ViT) نشان دادند که این معماری می‌تواند در وظایفی مانند طبقه‌بندی تصاویر، به نتایجی فراتر از شبکه‌های کانولوشنی (CNN) دست یابد. با این حال، یکی از چالش‌های اصلی ترانسفورمرهای تصویری، نیاز آن‌ها به حجم عظیمی از داده‌های برچسب‌دار برای پیش‌آموزش بود. برای مثال، مدل ViT برای رسیدن به عملکرد مطلوب، بر روی مجموعه داده غول‌پیکر ImageNet-22K با میلیون‌ها تصویر برچسب‌دار آموزش داده می‌شد. این وابستگی، هزینه و پیچیدگی آموزش این مدل‌ها را به شدت افزایش می‌داد.

مقاله BEiT: BERT Pre-Training of Image Transformers که توسط محققان مایکروسافت ارائه شد، پاسخی نوآورانه به این چالش بود. این مقاله با الهام مستقیم از موفقیت شگفت‌انگیز مدل BERT در حوزه زبان، یک روش پیش‌آموزش خودنظارتی (Self-Supervised Learning) جدید به نام مدل‌سازی تصویر پوشانده (Masked Image Modeling – MIM) را معرفی کرد. ایده اصلی BEiT این است که مدل باید یاد بگیرد بخش‌های حذف‌شده یا «پوشانده‌شده» یک تصویر را بازسازی کند. این رویکرد به مدل اجازه می‌دهد تا بازنمایی‌های غنی و معناداری از دنیای بصری را تنها با استفاده از داده‌های بدون برچسب بیاموزد و وابستگی به مجموعه‌داده‌های برچسب‌دار عظیم را به شکل چشمگیری کاهش دهد. اهمیت این مقاله در ارائه یک پارادایم جدید برای پیش‌آموزش مدل‌های بینایی، همگرایی بیشتر حوزه‌های زبان و تصویر، و دستیابی به نتایجی بی‌سابقه با بهره‌وری داده بسیار بالاتر نهفته است.

این مقاله حاصل تلاش تیمی از محققان برجسته در آزمایشگاه تحقیقاتی مایکروسافت (Microsoft Research) است. نویسندگان آن، Hangbo Bao, Li Dong, Songhao Piao و Furu Wei، همگی سوابق درخشانی در زمینه یادگیری عمیق، پردازش زبان طبیعی و بینایی کامپیوتر دارند. این تیم تحقیقاتی با الهام از موفقیت‌های چشمگیر مدل‌های زبانی مبتنی بر ترانسفورمر، به دنبال یافتن راهی برای انتقال این موفقیت‌ها به حوزه بینایی بودند.

زمینه تحقیق این مقاله در تقاطع دو روند اصلی در هوش مصنوعی قرار دارد:

• غالب شدن معماری ترانسفورمر: پس از موفقیت ViT، جامعه تحقیقاتی به دنبال بهبود روش‌های آموزش و کارایی این مدل‌ها برای کاربردهای بصری بود.
• رشد یادگیری خودنظارتی: روش‌های خودنظارتی مانند یادگیری تقابلی (Contrastive Learning) پیش از این نتایج امیدوارکننده‌ای نشان داده بودند، اما BEiT با الهام از مدل‌سازی زبان پوشانده (Masked Language Modeling) در BERT، رویکردی متفاوت و مولد (Generative) را پیشنهاد داد که بعدها به یکی از جریان‌های اصلی در این حوزه تبدیل شد.

بنابراین، BEiT در یک بستر علمی غنی متولد شد که در آن نیاز به روش‌های پیش‌آموزش کارآمد برای مدل‌های ترانسفورمر بینایی به شدت احساس می‌شد.

مقاله BEiT یک مدل بازنمایی بصری خودنظارتی را معرفی می‌کند که نام آن مخفف Bidirectional Encoder representation from Image Transformers است. این مدل، با پیروی از رویکرد BERT در NLP، یک وظیفه پیش‌آموزش جدید به نام «مدل‌سازی تصویر پوشانده» (MIM) را برای ترانسفورمرهای بینایی پیشنهاد می‌کند. در فرآیند پیش‌آموزش BEiT، هر تصویر از دو دیدگاه متفاوت نگریسته می‌شود: وصله‌های تصویری (Image Patches) و توکن‌های بصری (Visual Tokens).

فرآیند کار به این صورت است: ابتدا تصویر اصلی به مجموعه‌ای از توکن‌های گسسته یا «بصری» تبدیل می‌شود. سپس، بخشی از وصله‌های تصویر ورودی به صورت تصادفی پوشانده (mask) شده و به مدل ترانسفورمر اصلی خورانده می‌شود. هدف نهایی مدل این است که بتواند توکن‌های بصری اصلی مربوط به وصله‌های پوشانده‌شده را پیش‌بینی کند. این فرآیند، مدل را وادار می‌کند تا روابط معنایی و ساختاری میان بخش‌های مختلف یک تصویر را درک کند.

پس از اتمام مرحله پیش‌آموزش، پارامترهای مدل BEiT برای وظایف نهایی مانند طبقه‌بندی تصویر یا قطعه‌بندی معنایی (Semantic Segmentation) با افزودن یک لایه نهایی، تنظیم دقیق (fine-tune) می‌شوند. نتایج تجربی نشان‌دهنده موفقیت چشمگیر این روش است. به عنوان مثال، مدل BEiT با اندازه پایه (Base) به دقت 83.2% top-1 در مجموعه داده ImageNet-1K دست یافت که به طور قابل توجهی از مدل DeiT (با دقت 81.8%) که از صفر و با همان تنظیمات آموزش دیده بود، بهتر عمل کرد. شگفت‌انگیزتر آنکه، مدل بزرگ BEiT (Large) تنها با استفاده از داده‌های بدون برچسب ImageNet-1K به دقت 86.3% رسید و حتی مدل قدرتمند ViT-L را که به صورت نظارت‌شده بر روی مجموعه داده بسیار بزرگ‌تر ImageNet-22K پیش‌آموزش دیده بود (با دقت 85.2%)، پشت سر گذاشت.

روش‌شناسی BEiT از دو مرحله اصلی تشکیل شده است: تبدیل تصویر به توکن‌های بصری و وظیفه پیش‌آموزش مدل‌سازی تصویر پوشانده. در ادامه هر یک از این مراحل به تفصیل شرح داده می‌شوند.

الف) توکنایز کردن تصویر (Image Tokenization)

برخلاف زبان که به طور طبیعی از واحدهای گسسته (کلمات) تشکیل شده، تصاویر ماهیتی پیوسته دارند. برای پیاده‌سازی مکانیزمی مشابه BERT، اولین قدم تبدیل تصویر به مجموعه‌ای از «کلمات بصری» یا توکن‌های گسسته بود. برای این کار، نویسندگان از یک رمزگذار-رمزگشای متغیر گسسته (dVAE) که از قبل آموزش دیده بود، استفاده کردند. این dVAE یاد می‌گیرد که چگونه وصله‌های یک تصویر را به یک کد گسسته از یک دیکشنری (Codebook) از پیش تعریف‌شده نگاشت کند. هر کد در این دیکشنری، یک «توکن بصری» محسوب می‌شود. بنابراین، هر تصویر به دنباله‌ای از این توکن‌های بصری تبدیل می‌شود که به عنوان برچسب‌های هدف در مرحله پیش‌آموزش استفاده خواهند شد.

ب) مدل‌سازی تصویر پوشانده (Masked Image Modeling – MIM)

این وظیفه، هسته اصلی نوآوری BEiT است و شامل مراحل زیر می‌باشد:

• تقسیم‌بندی و پوشاندن: تصویر ورودی به شبکه‌ای از وصله‌های غیرهمپوشان (مثلاً 16×16 پیکسل) تقسیم می‌شود. سپس، حدود ۴۰٪ از این وصله‌ها به صورت تصادفی انتخاب و با یک توکن ویژه و قابل یادگیری به نام [MASK] جایگزین می‌شوند.
• ورودی به ترانسفورمر: دنباله‌ای از وصله‌های تصویر (شامل وصله‌های اصلی و توکن‌های [MASK]) به همراه اطلاعات مکانی (Position Embeddings) به انکودر ترانسفورمر BEiT داده می‌شود.
• هدف پیش‌بینی: مدل باید برای هر وصله پوشانده‌شده، توکن بصری اصلی آن را از دیکشنری dVAE پیش‌بینی کند. این یک وظیفه طبقه‌بندی روی تمامی توکن‌های ممکن در دیکشنری است.

این فرآیند مدل را مجبور می‌کند تا از زمینه (وصله‌های سالم اطراف) برای درک و بازسازی محتوای بخش‌های حذف‌شده استفاده کند و بدین ترتیب، به درک عمیقی از ساختارها و مفاهیم بصری دست یابد.

ج) فرآیند تنظیم دقیق (Fine-tuning)

پس از اتمام پیش‌آموزش روی حجم عظیمی از داده‌های بدون برچسب، رمزگذار dVAE کنار گذاشته می‌شود. انکودر BEiT که اکنون بازنمایی‌های قدرتمندی را آموخته است، به عنوان ستون فقرات (backbone) برای وظایف نهایی استفاده می‌شود. برای مثال، برای طبقه‌بندی تصویر، یک لایه طبقه‌بند ساده به انتهای انکودر BEiT اضافه شده و کل مدل بر روی داده‌های برچسب‌دار وظیفه نهایی (مانند ImageNet-1K) تنظیم دقیق می‌شود.

مقاله BEiT نتایج تجربی قدرتمندی را ارائه می‌دهد که برتری روش پیشنهادی را به وضوح نشان می‌دهد. مهم‌ترین یافته‌های این تحقیق عبارتند از:

• عملکرد برتر در طبقه‌بندی تصویر: مدل BEiT-Base که فقط بر روی ImageNet-1K (به صورت خودنظارتی) پیش‌آموزش دیده بود، به دقت 83.2% رسید. این نتیجه به طور قابل توجهی بهتر از مدل‌های رقیب مانند DeiT (81.8%) و حتی مدل‌های نظارت‌شده‌ای بود که از صفر آموزش دیده بودند.
• شکستن رکورد با داده کمتر: مهم‌ترین و تاثیرگذارترین یافته، عملکرد مدل BEiT-Large بود. این مدل با پیش‌آموزش روی ImageNet-1K به دقت شگفت‌انگیز 86.3% دست یافت. این نتیجه نه تنها از مدل‌های مشابه بهتر بود، بلکه از مدل ViT-Large که با داده‌های برچسب‌دار بسیار بیشتری (مجموعه داده ImageNet-22K) و به صورت نظارت‌شده آموزش دیده بود (85.2%) نیز پیشی گرفت. این یافته اثبات کرد که پیش‌آموزش خودنظارتی هوشمندانه می‌تواند کارآمدتر از پیش‌آموزش نظارت‌شده در مقیاس بزرگ باشد.
• قابلیت تعمیم بالا به وظایف دیگر: عملکرد BEiT تنها به طبقه‌بندی محدود نشد. این مدل در وظایف پیچیده‌تر و نیازمند درک مکانی دقیق مانند قطعه‌بندی معنایی (Semantic Segmentation) روی مجموعه داده ADE20K نیز نتایج بسیار رقابتی و پیشرویی را ثبت کرد. این موضوع نشان می‌دهد که بازنمایی‌های آموخته‌شده توسط BEiT کلی و قابل تعمیم به طیف وسیعی از کاربردهای بینایی کامپیوتر هستند.
• یادگیری مفاهیم معنایی: تحلیل‌های کیفی مانند مصورسازی نقشه‌های توجه (Attention Maps) در مدل نشان داد که BEiT بدون هیچ‌گونه برچسبی، یاد می‌گیرد که بر روی بخش‌های معنادار اشیاء در تصویر تمرکز کند. این نشان‌دهنده یادگیری بازنمایی‌های سطح بالا و مفهومی است، نه صرفاً ویژگی‌های سطح پایین مانند بافت و رنگ.

مقاله BEiT تأثیر عمیق و گسترده‌ای بر حوزه بینایی کامپیوتر و یادگیری خودنظارتی گذاشت. دستاوردها و کاربردهای کلیدی آن را می‌توان به شرح زیر خلاصه کرد:

دستاوردها

• پایه‌گذاری پارادایم MIM: BEiT روش مدل‌سازی تصویر پوشانده (MIM) را به عنوان یک رویکرد قدرتمند و مؤثر برای پیش‌آموزش مدل‌های بینایی معرفی کرد. این پارادایم به سرعت توسط جامعه تحقیقاتی پذیرفته شد و الهام‌بخش مدل‌های موفق بعدی مانند Masked Autoencoders (MAE) و SimMIM شد.
• کاهش وابستگی به داده‌های برچسب‌دار: این مقاله نشان داد که می‌توان با استفاده از داده‌های بدون برچسب به عملکردی بهتر از مدل‌های آموزش‌دیده بر روی میلیون‌ها تصویر برچسب‌دار دست یافت. این امر مسیر را برای آموزش مدل‌های قدرتمند در حوزه‌هایی که داده برچسب‌دار کمیاب است (مانند تصاویر پزشکی) هموار کرد.
• همگرایی NLP و بینایی کامپیوتر: BEiT با موفقیت یکی از مؤثرترین ایده‌های NLP (یعنی مکانیزم BERT) را به حوزه بینایی منتقل کرد و پیوند میان این دو حوزه را مستحکم‌تر ساخت.

کاربردها

مدل‌های پیش‌آموزش‌دیده BEiT به عنوان یک ستون فقرات قدرتمند (Foundation Model) برای طیف وسیعی از کاربردها قابل استفاده هستند:

• تحلیل تصاویر پزشکی: تشخیص بیماری از روی تصاویر رادیولوژی یا پاتولوژی با استفاده از مدل‌هایی که درک عمیقی از ساختارهای بصری دارند.
• خودروهای خودران: درک صحنه، تشخیص اشیاء و قطعه‌بندی معنایی محیط برای ناوبری ایمن.
• تحلیل تصاویر ماهواره‌ای: شناسایی تغییرات کاربری اراضی، کشاورزی دقیق و نظارت بر محیط زیست.
• سیستم‌های توصیه‌گر بصری: شناسایی محصولات در تصاویر و ارائه پیشنهادهای مرتبط به کاربران.

مقاله BEiT: BERT Pre-Training of Image Transformers یک نقطه عطف در تاریخ یادگیری خودنظارتی برای بینایی کامپیوتر محسوب می‌شود. این مقاله با ارائه یک روش ساده اما فوق‌العاده مؤثر به نام مدل‌سازی تصویر پوشانده (MIM)، نشان داد که می‌توان با الهام از موفقیت‌های حوزه پردازش زبان طبیعی، به نتایج بی‌سابقه‌ای در درک بصری دست یافت. BEiT نه تنها از نظر دقت عملکردی، رکوردهای جدیدی را به ثبت رساند، بلکه مهم‌تر از آن، ثابت کرد که می‌توان وابستگی به داده‌های برچسب‌دار عظیم را که همواره یکی از گلوگاه‌های اصلی پیشرفت در یادگیری عمیق بوده است، به میزان قابل توجهی کاهش داد.

تأثیر BEiT فراتر از نتایج عددی آن بود؛ این مقاله یک پارادایم فکری جدید ایجاد کرد و مسیر تحقیقات در زمینه پیش‌آموزش مدل‌های بینایی را از روش‌های عمدتاً تقابلی به سمت روش‌های مولد و مبتنی بر بازسازی سوق داد. امروزه، BEiT و رویکردهای الهام‌گرفته از آن، پایه‌های اصلی بسیاری از مدل‌های بنیادی (Foundation Models) در حوزه بینایی را تشکیل می‌دهند و راه را برای توسعه سیستم‌های هوش مصنوعی توانمندتر، کارآمدتر و عمومی‌تر هموار کرده‌اند.