در دهه‌های اخیر، انقلاب یادگیری عمیق چشم‌انداز هوش مصنوعی را دگرگون کرده است. با این حال، یکی از بزرگ‌ترین چالش‌ها در این مسیر، نیاز مفرط به داده‌های برچسب‌دار بوده است. فرآیند برچسب‌زنی داده‌ها نه تنها هزینه‌بر و زمان‌بر است، بلکه در بسیاری از حوزه‌ها مانند پزشکی یا علوم خاص، به تخصص بالایی نیاز دارد. در پاسخ به این چالش، یادگیری خودنظارتی (Self-supervised Learning) به عنوان یک پارادایم قدرتمند ظهور کرده است که به مدل‌ها اجازه می‌دهد تا از حجم انبوه داده‌های بدون برچسب، بازنمایی‌های غنی و مفیدی را بیاموزند.

در میان روش‌های متنوع یادگیری خودنظارتی، مدل‌سازی پوشیده (Masked Modeling) به دلیل سادگی مفهومی و کارایی فوق‌العاده، توجه بسیاری را به خود جلب کرده است. ایده اصلی این رویکرد شبیه به یک بازی «جاهای خالی را پر کنید» است: بخشی از داده ورودی (مانند کلمات در یک جمله یا تکه‌هایی از یک تصویر) به صورت تصادفی پنهان یا «پوشانده» می‌شود و مدل وظیفه دارد تا این بخش‌های حذف‌شده را بازسازی کند. این فرآیند، مدل را وادار می‌کند تا الگوهای معنایی و ساختاری عمیق‌تری را در داده‌ها درک کند. مقاله مروری “Masked Modeling for Self-supervised Representation Learning on Vision and Beyond” به طور جامع به بررسی این چارچوب، روش‌ها، کاربردها و آینده آن می‌پردازد و از این رو، یک منبع ارزشمند برای پژوهشگران و علاقه‌مندان به این حوزه محسوب می‌شود.

این مقاله توسط گروه بزرگی از محققان برجسته از جمله سیوان لی، لویوان ژانگ، زدونگ وانگ و دیگران به نگارش درآمده است. حضور نویسندگانی از مؤسسات و دانشگاه‌های مختلف، نشان‌دهنده ماهیت بین‌رشته‌ای و اهمیت بالای این حوزه پژوهشی است. زمینه اصلی تحقیق این مقاله در تقاطع بینایی کامپیوتر (Computer Vision) و هوش مصنوعی (Artificial Intelligence) قرار دارد.

ماهیت این اثر، یک مقاله مروری (Survey Paper) است. برخلاف مقالات پژوهشی که یک روش جدید را معرفی می‌کنند، مقالات مروری به تحلیل، دسته‌بندی و مقایسه کارهای انجام‌شده در یک حوزه خاص می‌پردازند. این نوع مقالات با ایجاد یک نقشه راه جامع، به پژوهشگران کمک می‌کنند تا وضعیت فعلی دانش را درک کرده، شکاف‌های موجود را شناسایی کنند و مسیرهای تحقیقاتی آینده را بیابند. این مقاله نیز با همین هدف، چشم‌انداز کاملی از مدل‌سازی پوشیده ارائه می‌دهد.

چکیده مقاله به وضوح بیان می‌کند که با پیشرفت یادگیری عمیق، یادگیری خودنظارتی به دلیل توانایی بالا در یادگیری بازنمایی و وابستگی کم به داده‌های برچسب‌دار، اهمیت روزافزونی یافته است. در این میان، مدل‌سازی پوشیده به عنوان یک رویکرد متمایز معرفی می‌شود که در آن، مدل با پیش‌بینی بخش‌های پوشیده‌شده از داده اصلی، آموزش می‌بیند. این پارادایم به مدل‌های عمیق امکان می‌دهد تا بازنمایی‌های استواری (robust) را بیاموزند و عملکرد استثنایی در حوزه‌هایی مانند بینایی کامپیوتر، پردازش زبان طبیعی و دیگر مدالیته‌ها از خود نشان داده‌اند.

این مقاله مروری، به صورت نظام‌مند به بررسی چارچوب و روش‌شناسی مدل‌سازی پوشیده می‌پردازد. جزئیات تکنیک‌ها، از جمله استراتژی‌های متنوع پوشش‌دهی، اهداف بازسازی، معماری‌های شبکه و موارد دیگر به تفصیل شرح داده می‌شوند. علاوه بر این، کاربردهای گسترده این رویکرد در دامنه‌های مختلف مورد بررسی قرار گرفته و شباهت‌ها و تفاوت‌های بین روش‌های مدل‌سازی پوشیده در حوزه‌های گوناگون تحلیل می‌شود. در نهایت، مقاله با بحث در مورد محدودیت‌های تکنیک‌های فعلی و اشاره به چندین مسیر بالقوه برای پیشبرد تحقیقات در این زمینه به پایان می‌رسد.

از آنجا که این یک مقاله مروری است، روش‌شناسی آن بر پایه تحلیل و طبقه‌بندی ادبیات موجود بنا شده است. نویسندگان، چارچوب مدل‌سازی پوشیده را به چند جزء کلیدی تقسیم کرده و هر یک را به تفصیل بررسی می‌کنند:

• استراتژی‌های پوشش‌دهی (Masking Strategies): این بخش به این پرسش پاسخ می‌دهد که «چگونه و چه بخشی از داده‌ها باید پنهان شوند؟». استراتژی‌های مختلفی وجود دارد:
  • پوشش‌دهی تصادفی (Random Masking): مانند آنچه در مدل معروف BERT برای متن انجام می‌شود؛ توکن‌ها (کلمات) به صورت تصادفی انتخاب و پنهان می‌شوند.
  • پوشش‌دهی بلوکی (Block-wise Masking): این روش که در بینایی کامپیوتر (مثلاً در مدل MAE) بسیار مؤثر است، به جای پیکسل‌های منفرد، تکه‌های (patches) مستطیلی از تصویر را پنهان می‌کند. این کار به دلیل افزونگی فضایی بالا در تصاویر، کارآمد است.
  • پوشش‌دهی ساختاریافته: در برخی کاربردها، پنهان‌سازی بر اساس ساختار داده (مانند پنهان کردن یک فریم کامل در ویدیو) انجام می‌شود.
• اهداف بازسازی (Recovery Targets): پس از پنهان‌سازی، مدل باید چه چیزی را پیش‌بینی کند؟
  • بازسازی ورودی خام: ساده‌ترین حالت، پیش‌بینی مقادیر اصلی پیکسل‌ها یا کلمات پنهان‌شده است.
  • بازسازی توکن‌های گسسته: در روش‌هایی مانند BEiT، تصویر ابتدا به «توکن‌های بصری» گسسته تبدیل می‌شود و مدل وظیفه دارد این توکن‌ها را پیش‌بینی کند. این رویکرد شباهت بیشتری به پردازش زبان طبیعی دارد.
  • بازسازی ویژگی‌های سطح بالا: مدل می‌تواند به جای ورودی خام، ویژگی‌های استخراج‌شده توسط یک مدل دیگر را بازسازی کند.
• معماری‌های شبکه (Network Architectures): معماری غالب برای این وظایف، ترنسفورمر (Transformer) است که به دلیل مکانیزم توجه (Attention) خود، توانایی بالایی در مدل‌سازی روابط دوربرد در داده‌ها دارد. یک نوآوری کلیدی در این زمینه، استفاده از معماری رمزگذار-رمزگشای نامتقارن (Asymmetric Encoder-Decoder) است. در این ساختار (که در MAE به شهرت رسید)، رمزگذار سنگین و قدرتمند فقط تکه‌های مرئی تصویر را پردازش می‌کند و یک رمزگشای سبک و کوچک وظیفه بازسازی کل تصویر از این بازنمایی فشرده را بر عهده دارد. این طراحی، فرآیند آموزش را به شدت بهینه و سریع می‌کند.

این مقاله مروری، چندین یافته و بینش کلیدی را از تحلیل گسترده خود استخراج می‌کند که درک ما از مدل‌سازی پوشیده را عمیق‌تر می‌سازد:

• یک پارادایم جهانی: مدل‌سازی پوشیده تنها به یک حوزه محدود نمی‌شود، بلکه یک چارچوب یادگیری جهانی و قابل تعمیم است که با موفقیت بر روی داده‌های متنی، تصویری، ویدیویی، صوتی و حتی داده‌های چندوجهی (multimodal) به کار گرفته شده است. این انعطاف‌پذیری، پتانسیل بالای آن را نشان می‌دهد.
• کارایی محاسباتی: برخلاف برخی روش‌های خودنظارتی دیگر مانند یادگیری تقابلی (Contrastive Learning) که به بچ‌سایزهای بزرگ نیاز دارند، مدل‌سازی پوشیده می‌تواند بسیار کارآمد باشد. معماری نامتقارن در مدل MAE با پردازش تنها بخش کوچکی از ورودی (مثلاً ۲۵٪) در رمزگذار، زمان و حافظه مورد نیاز برای پیش‌آموزش را به طرز چشمگیری کاهش می‌دهد.
• یادگیری بازنمایی‌های غنی: فرآیند بازسازی بخش‌های پنهان، مدل را مجبور می‌کند تا صرفاً به بافت‌های سطح پایین اکتفا نکند، بلکه به درک معنایی و مفهومی از اشیاء و روابط بین آنها دست یابد. بازنمایی‌های آموخته‌شده از این طریق، بسیار قوی بوده و به خوبی به وظایف پایین‌دستی (downstream tasks) مانند طبقه‌بندی و تشخیص اشیاء منتقل می‌شوند.
• تفاوت‌های بین حوزه‌ها: مقاله به خوبی تفاوت‌های کلیدی در اعمال این پارادایم در NLP و بینایی کامپیوتر را برجسته می‌کند. در حالی که در متن، پنهان کردن ۱۵٪ کلمات یک چالش بزرگ است، در تصاویر به دلیل افزونگی بالا، می‌توان تا ۷۵٪ یا حتی بیشتر از تصویر را پنهان کرد و مدل همچنان قادر به بازسازی آن باشد. این تفاوت در ماهیت سیگنال، منجر به طراحی استراتژی‌های پوشش‌دهی متفاوتی شده است.

موفقیت مدل‌سازی پوشیده در کاربردهای عملی، دلیل اصلی محبوبیت آن است. این مقاله به بررسی دستاوردهای این رویکرد در حوزه‌های مختلف می‌پردازد:

• پردازش زبان طبیعی (NLP): این حوزه نقطه شروع مدل‌سازی پوشیده مدرن بود. مدل BERT با معرفی وظیفه «مدل‌سازی زبان پوشیده» (Masked Language Modeling)، انقلابی در NLP ایجاد کرد و استانداردهای جدیدی را در طیف وسیعی از وظایف مانند تحلیل احساسات، پاسخ به پرسش و ترجمه ماشینی ثبت کرد.
• بینایی کامپیوتر (Computer Vision): با الهام از موفقیت BERT، مدل‌هایی مانند BEiT و به خصوص MAE، پارادایم مدل‌سازی پوشیده را با موفقیت به دنیای تصاویر آوردند. این مدل‌ها نشان دادند که می‌توان بازنمایی‌های بصری بسیار قدرتمندی را صرفاً با پیش‌آموزش بر روی داده‌های بدون برچسب (مانند مجموعه داده عظیم ImageNet) آموخت. این بازنمایی‌ها پس از تنظیم دقیق (fine-tuning) بر روی وظایف خاص، عملکردی برابر یا حتی بهتر از مدل‌های پیش‌آموزش‌دیده به روش نظارتی (supervised) از خود نشان می‌دهند. این یک دستاورد بزرگ در کاهش وابستگی به داده‌های برچسب‌دار در بینایی کامپیوتر است.
• حوزه‌های دیگر: این رویکرد به سرعت در حال گسترش به سایر مدالیته‌هاست. در پردازش صوت، می‌توان بخش‌هایی از یک طیف‌نگاره (spectrogram) را پنهان کرد و از مدل خواست تا آن را بازسازی کند. در پردازش ویدیو، می‌توان فریم‌ها یا تکه‌هایی از فضا-زمان را پوشاند. این قابلیت تعمیم، نشان‌دهنده قدرت بنیادی این ایده است.

مقاله “Masked Modeling for Self-supervised Representation Learning on Vision and Beyond” با ارائه یک بررسی جامع و ساختاریافته، نقش کلیدی خود را در مستندسازی و هدایت یکی از هیجان‌انگیزترین شاخه‌های هوش مصنوعی ایفا می‌کند. این مقاله نشان می‌دهد که مدل‌سازی پوشیده از یک تکنیک خاص در NLP فراتر رفته و به یک پارادایم یادگیری بنیادی تبدیل شده است که قادر است از داده‌های بدون ساختار در مقیاس بزرگ، دانش استخراج کند.

نویسندگان در پایان، به محدودیت‌های فعلی و مسیرهای آینده اشاره می‌کنند. از جمله چالش‌ها می‌توان به درک عمیق‌تر معنایی و مفهومی (semantic understanding) و همچنین نیاز به منابع محاسباتی قابل توجه برای پیش‌آموزش اشاره کرد. مسیرهای تحقیقاتی آینده شامل توسعه استراتژی‌های پوشش‌دهی هوشمندانه‌تر (که به جای پنهان‌سازی تصادفی، بر روی بخش‌های آموزنده‌تر تمرکز کنند)، ترکیب مدل‌سازی پوشیده با سایر روش‌های یادگیری مانند یادگیری تقابلی، و اعمال این پارادایم بر روی داده‌های پیچیده‌تر مانند گراف‌ها و ابر نقاط سه‌بعدی است. بدون شک، مدل‌سازی پوشیده به عنوان یکی از ستون‌های اصلی یادگیری خودنظارتی، به تکامل خود ادامه خواهد داد و راه را برای ساخت مدل‌های هوشمندتر و مستقل‌تر هموار خواهد کرد.