یادگیری خودنظارتی (Self-Supervised Learning – SSL) به یک روش غالب در پیش‌آموزش مدل‌ها در پردازش زبان طبیعی (Natural Language Processing – NLP) تبدیل شده است و به سرعت در حوزه‌های بینایی کامپیوتر (Computer Vision) نیز محبوبیت پیدا می‌کند. این روش به طور فزاینده‌ای در حال پیشی گرفتن از روش‌های پیش‌آموزش نظارت‌شده (Supervised Pretraining) در بسیاری از کاربردهای پایین‌دستی بینایی است، که نشان‌دهنده یک نقطه عطف مهم در این زمینه است.

یکی از دلایل اصلی این برتری، محدودیت‌های ذاتی در برچسب‌گذاری داده‌های آموزشی است. تصاویر دنیای واقعی اغلب حاوی چندین مفهوم هستند، اما معمولاً فقط با یک برچسب غالب برچسب‌گذاری می‌شوند. این مسئله باعث می‌شود که مدل‌ها نتوانند تمام اطلاعات موجود در تصاویر را یاد بگیرند.

در حالی که یادگیری خودنظارتی (SSL) به طور بالقوه می‌تواند این محدودیت را برطرف کند، انتخاب وظیفه پیش‌متنی (Pretext Task) در SSL، که برای تسهیل یادگیری استفاده می‌شود، اغلب این مشکل را تداوم می‌بخشد. بسیاری از وظایف پیش‌متنی، یادگیری را به سمت تولید یک مفهوم واحد سوق می‌دهند و از این طریق از یادگیری مفاهیم متعدد موجود در یک تصویر جلوگیری می‌کنند.

مقاله “MC-SSL0.0: به سوی یادگیری خودنظارتی چندمفهومی” توسط سارا آتیتو، محمد اویس، عمارة فاروق، ژنهوا فنگ و جوزف کیتلر نوشته شده است. این محققان در زمینه بینایی کامپیوتر، یادگیری ماشین و به طور خاص، یادگیری خودنظارتی فعالیت می‌کنند.

زمینه تحقیق این مقاله در حوزه یادگیری ماشین و به طور خاص در زیرشاخه‌ی یادگیری خودنظارتی قرار دارد. هدف اصلی این تحقیق، توسعه یک چارچوب یادگیری خودنظارتی جدید است که قادر به مدل‌سازی تمام مفاهیم موجود در یک تصویر باشد، بدون اینکه به برچسب‌های دستی نیاز داشته باشد.

این تحقیق به دنبال رفع محدودیت‌های موجود در روش‌های SSL سنتی است که اغلب بر یادگیری یک مفهوم غالب تمرکز می‌کنند و از این طریق از یادگیری مفاهیم متعدد موجود در یک تصویر غافل می‌شوند.

این مقاله یک چارچوب SSL جدید به نام MC-SSL0.0 را معرفی می‌کند که به عنوان یک گام در جهت یادگیری خودنظارتی چندمفهومی (Multi-Concept Self-Supervised Learning – MC-SSL) عمل می‌کند. هدف MC-SSL، فراتر رفتن از مدل‌سازی یک برچسب غالب در تصویر و استفاده مؤثر از اطلاعات موجود در تمام مفاهیم موجود در آن است.

MC-SSL0.0 از دو مفهوم طراحی اصلی تشکیل شده است:

• یادگیری مدل ماسک‌شده گروهی (Group Masked Model Learning): در این روش، بخش‌هایی از تصویر به صورت تصادفی ماسک می‌شوند و مدل باید محتوای این بخش‌های ماسک‌شده را پیش‌بینی کند. این کار باعث می‌شود که مدل مجبور شود به ارتباط بین مفاهیم مختلف در تصویر توجه کند.
• یادگیری مفهوم شبه (Learning of Pseudo-Concept): در این روش، یک انکودر مومنتوم (Momentum Encoder) در قالب یک چارچوب معلم-شاگرد (Teacher-Student) برای یادگیری مفاهیم شبه برای توکن‌های داده استفاده می‌شود. این انکودر مومنتوم، یک مدل “معلم” است که به طور مداوم از طریق میانگین متحرک پارامترهای مدل “شاگرد” به‌روزرسانی می‌شود. این رویکرد به تثبیت و بهبود کیفیت مفاهیم شبه کمک می‌کند.

نتایج تجربی بر روی وظایف پایین‌دستی طبقه‌بندی تصویر چندبرچسبی (Multi-Label Image Classification) و طبقه‌بندی چندکلاسه (Multi-Class Image Classification) نشان می‌دهد که MC-SSL0.0 نه تنها از روش‌های SSL موجود بهتر عمل می‌کند، بلکه از یادگیری انتقالی نظارت‌شده (Supervised Transfer Learning) نیز پیشی می‌گیرد.

کد منبع این تحقیق به صورت عمومی در دسترس خواهد بود تا جامعه علمی بتواند آن را بر روی داده‌های بزرگتر آموزش دهد.

روش‌شناسی تحقیق در این مقاله بر پایه توسعه و ارزیابی یک چارچوب جدید یادگیری خودنظارتی، MC-SSL0.0، استوار است. این روش شامل مراحل زیر است:

1. طراحی معماری MC-SSL0.0: این مرحله شامل طراحی دو جزء اصلی، یعنی یادگیری مدل ماسک‌شده گروهی و یادگیری مفهوم شبه با استفاده از انکودر مومنتوم در چارچوب معلم-شاگرد است.
2. پیاده‌سازی و آموزش مدل: مدل MC-SSL0.0 بر روی مجموعه‌ای از داده‌های بدون برچسب آموزش داده می‌شود. در طول آموزش، مدل یاد می‌گیرد که مفاهیم مختلف موجود در تصاویر را بدون نیاز به برچسب‌های دستی تشخیص دهد.
3. ارزیابی مدل: پس از آموزش، مدل MC-SSL0.0 بر روی وظایف پایین‌دستی مختلف ارزیابی می‌شود، از جمله طبقه‌بندی تصویر چندبرچسبی و طبقه‌بندی چندکلاسه. عملکرد MC-SSL0.0 با عملکرد روش‌های SSL موجود و یادگیری انتقالی نظارت‌شده مقایسه می‌شود.
4. تحلیل نتایج: نتایج تجربی به دقت تحلیل می‌شوند تا نقاط قوت و ضعف MC-SSL0.0 شناسایی شوند. همچنین، تأثیر هر یک از اجزای MC-SSL0.0 بر عملکرد کلی مدل بررسی می‌شود.

برای مثال، در یادگیری مدل ماسک‌شده گروهی، محققان از استراتژی‌های مختلف ماسک‌گذاری استفاده کرده‌اند و تأثیر آنها را بر عملکرد مدل بررسی کرده‌اند. در یادگیری مفهوم شبه، پارامترهای مختلف انکودر مومنتوم بهینه شده‌اند تا بهترین نتایج به دست آید.

یافته‌های کلیدی این تحقیق عبارتند از:

• MC-SSL0.0 عملکرد بهتری نسبت به روش‌های SSL موجود دارد: نتایج تجربی نشان می‌دهد که MC-SSL0.0 در وظایف پایین‌دستی طبقه‌بندی تصویر چندبرچسبی و طبقه‌بندی چندکلاسه، به طور قابل توجهی از روش‌های SSL موجود پیشی می‌گیرد. این نشان می‌دهد که MC-SSL0.0 قادر است مفاهیم مختلف موجود در تصاویر را به طور موثرتری یاد بگیرد.
• MC-SSL0.0 از یادگیری انتقالی نظارت‌شده نیز بهتر عمل می‌کند: این یک یافته بسیار مهم است، زیرا نشان می‌دهد که یادگیری خودنظارتی می‌تواند در برخی موارد از یادگیری نظارت‌شده بهتر عمل کند. این امر به ویژه در شرایطی که داده‌های برچسب‌گذاری شده کمیاب هستند، اهمیت دارد.
• اجزای مختلف MC-SSL0.0 نقش مهمی در عملکرد کلی مدل دارند: تحلیل‌ها نشان می‌دهد که هر دو جزء یادگیری مدل ماسک‌شده گروهی و یادگیری مفهوم شبه به بهبود عملکرد MC-SSL0.0 کمک می‌کنند.

به عنوان مثال، در یک مجموعه داده خاص، MC-SSL0.0 توانست به دقت طبقه‌بندی 5% بالاتری نسبت به بهترین روش SSL موجود دست یابد. همچنین، در یک مجموعه داده دیگر، MC-SSL0.0 توانست از یک مدل یادگیری انتقالی نظارت‌شده که بر روی داده‌های برچسب‌گذاری شده بسیار زیادی آموزش داده شده بود، پیشی بگیرد.

این تحقیق دارای کاربردها و دستاوردهای مهمی است، از جمله:

• بهبود عملکرد مدل‌های بینایی کامپیوتر: MC-SSL0.0 می‌تواند برای بهبود عملکرد مدل‌های بینایی کامپیوتر در طیف گسترده‌ای از وظایف، از جمله طبقه‌بندی تصویر، تشخیص اشیا و قطعه‌بندی تصویر، استفاده شود.
• کاهش نیاز به داده‌های برچسب‌گذاری شده: MC-SSL0.0 یک روش یادگیری خودنظارتی است، که به این معنی است که می‌تواند بدون نیاز به داده‌های برچسب‌گذاری شده آموزش داده شود. این امر می‌تواند به کاهش هزینه و زمان مورد نیاز برای توسعه مدل‌های بینایی کامپیوتر کمک کند.
• پیشرفت در تحقیقات یادگیری خودنظارتی: MC-SSL0.0 یک گام مهم در جهت توسعه روش‌های یادگیری خودنظارتی پیشرفته‌تر است. این تحقیق می‌تواند به الهام بخشیدن به تحقیقات بیشتر در این زمینه کمک کند.

به عنوان مثال، MC-SSL0.0 می‌تواند در کاربردهایی مانند تشخیص پزشکی، رانندگی خودکار و نظارت تصویری استفاده شود. در تشخیص پزشکی، MC-SSL0.0 می‌تواند به پزشکان در تشخیص بیماری‌ها از روی تصاویر پزشکی کمک کند. در رانندگی خودکار، MC-SSL0.0 می‌تواند به خودروها در تشخیص اشیا و موانع در محیط اطراف کمک کند. در نظارت تصویری، MC-SSL0.0 می‌تواند به شناسایی فعالیت‌های مشکوک در تصاویر ویدئویی کمک کند.

مقاله “MC-SSL0.0: به سوی یادگیری خودنظارتی چندمفهومی” یک تحقیق ارزشمند در زمینه یادگیری خودنظارتی است. این مقاله یک چارچوب SSL جدید به نام MC-SSL0.0 را معرفی می‌کند که قادر است مفاهیم مختلف موجود در تصاویر را به طور موثرتری یاد بگیرد. نتایج تجربی نشان می‌دهد که MC-SSL0.0 عملکرد بهتری نسبت به روش‌های SSL موجود دارد و از یادگیری انتقالی نظارت‌شده نیز پیشی می‌گیرد. این تحقیق دارای کاربردها و دستاوردهای مهمی است و می‌تواند به پیشرفت در تحقیقات یادگیری خودنظارتی کمک کند.

در نهایت، این مقاله یک گام مهم در جهت توسعه روش‌های یادگیری ماشین قدرتمندتر و انعطاف‌پذیرتر است که می‌توانند به حل مشکلات پیچیده در دنیای واقعی کمک کنند. با در دسترس قرار دادن کد منبع، نویسندگان امیدوارند که جامعه علمی بتواند از این چارچوب برای آموزش مدل‌ها بر روی داده‌های بزرگتر استفاده کند و به پیشرفت بیشتر در این زمینه کمک کند.