در دنیای امروز، حجم داده‌های تصویری به طور نمایی در حال افزایش است. در عین حال، برچسب‌گذاری این داده‌ها به صورت دستی، فرایندی زمان‌بر، پرهزینه و در بسیاری از موارد، غیرممکن است. این مسئله، نیاز به روش‌هایی را برجسته می‌کند که بتوانند از داده‌های بدون برچسب (یا با برچسب کم) برای یادگیری بازنمایی‌های بصری معنادار و قابل تعمیم استفاده کنند. مقاله “یادگیری بازنمایی بصری با توجه خودنظارتی برای رژیم کم‌برچسب و پرداده” به همین موضوع می‌پردازد و راهکاری نوآورانه را ارائه می‌دهد.

این مقاله از چند جنبه دارای اهمیت است:

• کاهش نیاز به برچسب‌گذاری دستی: با استفاده از روش‌های خودنظارتی، نیاز به برچسب‌گذاری دستی داده‌ها به طور چشمگیری کاهش می‌یابد. این امر، امکان استفاده از حجم عظیمی از داده‌های بدون برچسب را برای آموزش مدل‌های یادگیری ماشین فراهم می‌کند.
• تعمیم‌پذیری بالا: بازنمایی‌های یادگرفته‌شده با استفاده از روش خودنظارتی، معمولاً از تعمیم‌پذیری بالاتری برخوردارند. به این معنی که مدل‌های آموزش‌دیده می‌توانند به خوبی روی داده‌های جدید و ناشناخته عمل کنند.
• کاربردهای متنوع: روش‌های خودنظارتی می‌توانند در طیف گسترده‌ای از کاربردها مورد استفاده قرار گیرند، از جمله دسته‌بندی تصاویر، بازیابی تصاویر و شناسایی اشیاء.

این مقاله توسط Prarthana Bhattacharyya, Chenge Li, Xiaonan Zhao, István Fehérvári, و Jason Sun نوشته شده است. نویسندگان این مقاله، متخصصان حوزه بینایی کامپیوتر و یادگیری ماشین هستند و تجربه قابل توجهی در زمینه توسعه روش‌های خودنظارتی و شبکه‌های عصبی ترانسفورمر دارند. این تحقیق در زمینه بینایی کامپیوتر و تشخیص الگو و یادگیری ماشین قرار دارد.

این مقاله بررسی می‌کند که آیا می‌توان از شبکه‌های عصبی ترانسفورمر بینایی خودنظارتی (SSL-ViTs) برای دو وظیفه مهم بینایی کامپیوتر در رژیم کم‌برچسب و پرداده استفاده کرد: دسته‌بندی تصاویر با تعداد کم نمونه (few-shot image classification) و بازیابی تصاویر با تعداد صفر نمونه (zero-shot image retrieval). هدف اصلی این مقاله، کاهش تعداد برچسب‌گذاری‌های دستی مورد نیاز برای آموزش یک سیستم استخراج ویژگی بصری و تولید بازنمایی‌های کلی و معنادار از نظر معنایی است.

برای دسته‌بندی تصاویر با تعداد کم نمونه، نویسندگان از SSL-ViTهایی استفاده می‌کنند که بدون هیچ نظارتی بر روی داده‌های خارجی آموزش داده شده‌اند. سپس، این سیستم استخراج ویژگی آموزش‌دیده برای انطباق سریع با کلاس‌های جدید با تعداد محدودی از برچسب‌ها استفاده می‌شود. برای بازیابی تصاویر با تعداد صفر نمونه، SSL-ViTها بر روی یک مجموعه داده بزرگ بدون هیچ برچسبی پیش‌آموزش داده می‌شوند و سپس با چندین هدف یادگیری متریک تنظیم دقیق می‌شوند.

نتایج نشان می‌دهد که بازنمایی‌های مبتنی بر توجه خودنظارتی، عملکرد بهتری نسبت به روش‌های موجود در مجموعه داده‌های عمومی برای هر دو وظیفه دارند. به طور خاص، در دسته‌بندی تصاویر با تعداد کم نمونه، بهبودهایی تا 6% تا 10% در miniImageNet و CUB200 حاصل شده است. در بازیابی تصاویر با تعداد صفر نمونه، بهبودهایی تا 4% تا 11% در Stanford Online Products، Cars196 و CUB200 به دست آمده است.

روش‌شناسی این تحقیق بر دو پایه اصلی استوار است:

• شبکه‌های عصبی ترانسفورمر بینایی خودنظارتی (SSL-ViTs): این شبکه‌ها، نوعی از شبکه‌های عصبی هستند که از مکانیسم توجه برای یادگیری ارتباطات بین بخش‌های مختلف تصویر استفاده می‌کنند. خودنظارتی به این معنی است که شبکه بدون نیاز به برچسب‌گذاری دستی، از داده‌های بدون برچسب برای یادگیری استفاده می‌کند. به عنوان مثال، می‌توان با چرخش یا تغییر رنگ یک تصویر، نسخه‌های جدیدی از آن ایجاد کرد و سپس به شبکه آموزش داد که نسخه اصلی را از بین نسخه‌های تغییریافته تشخیص دهد.
• یادگیری متریک: این روش، به شبکه آموزش می‌دهد که شباهت بین تصاویر را یاد بگیرد. به عبارت دیگر، تصاویر متعلق به یک کلاس باید به هم نزدیک‌تر باشند، در حالی که تصاویر متعلق به کلاس‌های مختلف باید از هم دورتر باشند. برای این منظور، از توابع زیان مختلفی مانند Triplet Loss یا Contrastive Loss استفاده می‌شود.

به طور خلاصه، روش‌شناسی تحقیق شامل پیش‌آموزش SSL-ViTها بر روی یک مجموعه داده بزرگ بدون برچسب، و سپس تنظیم دقیق آنها با استفاده از یادگیری متریک برای وظایف خاص (دسته‌بندی تصاویر با تعداد کم نمونه و بازیابی تصاویر با تعداد صفر نمونه) است.

به عنوان یک مثال عملی، فرض کنید می‌خواهیم یک سیستم تشخیص نوع پرنده ایجاد کنیم. با استفاده از این روش، می‌توانیم ابتدا یک SSL-ViT را بر روی مجموعه داده‌ای از تصاویر مختلف (مانند ImageNet) بدون هیچ برچسبی پیش‌آموزش دهیم. سپس، با استفاده از تعداد کمی تصویر برچسب‌گذاری شده از انواع مختلف پرندگان، می‌توانیم شبکه را برای تشخیص انواع پرندگان تنظیم دقیق کنیم. این روش، به ما امکان می‌دهد تا با کمترین میزان برچسب‌گذاری دستی، به یک سیستم تشخیص پرنده با دقت بالا دست یابیم.

یافته‌های کلیدی این مقاله عبارتند از:

• SSL-ViTها می‌توانند با موفقیت برای دسته‌بندی تصاویر با تعداد کم نمونه و بازیابی تصاویر با تعداد صفر نمونه مورد استفاده قرار گیرند.
• بازنمایی‌های مبتنی بر توجه خودنظارتی، عملکرد بهتری نسبت به روش‌های موجود در مجموعه داده‌های عمومی دارند.
• پیش‌آموزش SSL-ViTها بر روی یک مجموعه داده بزرگ بدون برچسب، نقش مهمی در بهبود عملکرد آنها دارد.
• تنظیم دقیق SSL-ViTها با استفاده از یادگیری متریک، می‌تواند به طور قابل توجهی دقت سیستم را افزایش دهد.

این تحقیق دارای کاربردهای متعددی در زمینه‌های مختلف است، از جمله:

• تشخیص اشیاء در تصاویر پزشکی: در بسیاری از موارد، برچسب‌گذاری تصاویر پزشکی کاری دشوار و پرهزینه است. روش‌های خودنظارتی می‌توانند به پزشکان در تشخیص بیماری‌ها با استفاده از تعداد محدودی تصویر برچسب‌گذاری شده کمک کنند.
• خودروهای خودران: خودروهای خودران نیاز به درک دقیق از محیط اطراف خود دارند. روش‌های خودنظارتی می‌توانند به خودروها در یادگیری بازنمایی‌های بصری معنادار از محیط اطراف بدون نیاز به برچسب‌گذاری دستی داده‌ها کمک کنند.
• جستجوی تصویر: روش‌های خودنظارتی می‌توانند به بهبود دقت و کارایی سیستم‌های جستجوی تصویر کمک کنند.

دستاورد اصلی این مقاله، ارائه یک روش نوآورانه برای یادگیری بازنمایی‌های بصری با استفاده از شبکه‌های عصبی ترانسفورمر بینایی خودنظارتی است. این روش، به محققان و مهندسان امکان می‌دهد تا مدل‌های یادگیری ماشین را با کمترین میزان برچسب‌گذاری دستی آموزش دهند و از حجم عظیمی از داده‌های بدون برچسب بهره ببرند.

مقاله “یادگیری بازنمایی بصری با توجه خودنظارتی برای رژیم کم‌برچسب و پرداده” گامی مهم در جهت توسعه روش‌های یادگیری ماشین است که می‌توانند از داده‌های بدون برچسب برای یادگیری بازنمایی‌های بصری معنادار و قابل تعمیم استفاده کنند. این تحقیق، راه را برای کاربردهای جدید و نوآورانه در زمینه‌های مختلف هموار می‌کند. با توجه به حجم رو به رشد داده‌های تصویری و محدودیت‌های مربوط به برچسب‌گذاری دستی، روش‌های خودنظارتی از اهمیت فزاینده‌ای برخوردار خواهند بود. کد این پروژه در GitHub در دسترس است.