مقاله حاضر، با عنوان “USB: محک یکپارچه‌ی یادگیری نیمه‌نظارتی برای طبقه‌بندی”، به بررسی و ارائه یک چارچوب جدید برای ارزیابی الگوریتم‌های یادگیری نیمه‌نظارتی (Semi-Supervised Learning – SSL) می‌پردازد. یادگیری نیمه‌نظارتی، شاخه‌ای از یادگیری ماشین است که از داده‌های برچسب‌دار و بدون برچسب به صورت ترکیبی برای آموزش مدل‌ها استفاده می‌کند. این روش، به ویژه در شرایطی که داده‌های برچسب‌دار کمیاب و پرهزینه هستند، اهمیت بسزایی پیدا می‌کند. اهمیت این مقاله از آنجا ناشی می‌شود که چارچوب‌های ارزیابی موجود، عمدتاً محدود به وظایف بینایی کامپیوتر (Computer Vision – CV) بوده و آموزش مدل‌های عمیق را از ابتدا آغاز می‌کنند که هم زمان‌بر است و هم از نظر زیست‌محیطی نامناسب. USB تلاش می‌کند تا این محدودیت‌ها را برطرف کرده و یک محک یکپارچه برای ارزیابی الگوریتم‌های SSL در حوزه‌های مختلف ارائه دهد.

این مقاله توسط گروهی از محققان برجسته در زمینه‌های یادگیری ماشین، هوش مصنوعی، بینایی کامپیوتر و پردازش زبان طبیعی (Natural Language Processing – NLP) از دانشگاه‌ها و موسسات مختلف به نگارش درآمده است. اسامی نویسندگان به شرح زیر است:

• Yidong Wang
• Hao Chen
• Yue Fan
• Wang Sun
• Ran Tao
• Wenxin Hou
• Renjie Wang
• Linyi Yang
• Zhi Zhou
• Lan-Zhe Guo
• Heli Qi
• Zhen Wu
• Yu-Feng Li
• Satoshi Nakamura
• Wei Ye
• Marios Savvides
• Bhiksha Raj
• Takahiro Shinozaki
• Bernt Schiele
• Jindong Wang
• Xing Xie
• Yue Zhang

زمینه تحقیق این گروه، گسترده و شامل حوزه‌های مختلف یادگیری ماشین، از جمله یادگیری نیمه‌نظارتی، یادگیری انتقالی (Transfer Learning) و یادگیری فعال (Active Learning) است. تخصص آنها در زمینه‌های بینایی کامپیوتر، پردازش زبان طبیعی و پردازش سیگنال‌های صوتی (Audio Processing) به آنها این امکان را داده است که چارچوبی جامع و یکپارچه برای ارزیابی الگوریتم‌های SSL ایجاد کنند.

چکیده مقاله بر این نکته تأکید دارد که یادگیری نیمه‌نظارتی، از طریق استفاده از حجم عظیمی از داده‌های بدون برچسب، می‌تواند تعمیم‌پذیری (Generalization) مدل‌ها را در شرایطی که داده‌های برچسب‌دار محدود هستند، بهبود بخشد. با این حال، پروتکل‌های ارزیابی رایج SSL، اغلب به وظایف بینایی کامپیوتر محدود شده‌اند و آموزش مدل‌های عمیق از ابتدا، زمان‌بر و از نظر زیست‌محیطی ناپایدار است. برای رفع این مشکلات، نویسندگان یک محک یکپارچه SSL (USB) برای طبقه‌بندی ایجاد کرده‌اند که شامل 15 وظیفه متنوع، چالش‌برانگیز و جامع از حوزه‌های CV، NLP و Audio است. آنها به طور سیستماتیک روش‌های غالب SSL را بر روی این وظایف ارزیابی کرده و یک کد منبع ماژولار و قابل توسعه را برای ارزیابی عادلانه این روش‌ها به صورت متن‌باز ارائه کرده‌اند. علاوه بر این، نسخه‌های از پیش آموزش‌دیده مدل‌های عصبی پیشرفته برای وظایف CV ارائه شده‌اند تا هزینه تنظیم دقیق (Fine-tuning) آنها کاهش یابد. USB امکان ارزیابی یک الگوریتم SSL را بر روی وظایف بیشتر از حوزه‌های مختلف با هزینه کمتر فراهم می‌کند. به طور خاص، ارزیابی الگوریتم FixMatch بر روی 15 وظیفه در USB تنها به 39 روز GPU (واحد پردازش گرافیکی) بر روی یک NVIDIA V100 نیاز دارد، در حالی که این ارزیابی با استفاده از TorchSSL بر روی 5 وظیفه CV به 335 روز GPU (279 روز GPU بر روی 4 مجموعه داده CV به جز ImageNet) نیاز دارد.

به طور خلاصه، مقاله USB را به عنوان یک پلتفرم جامع و مقرون به صرفه برای ارزیابی و مقایسه الگوریتم‌های یادگیری نیمه‌نظارتی در حوزه‌های مختلف ارائه می‌دهد. این پلتفرم، با ارائه مجموعه‌ای متنوع از وظایف، کد منبع متن‌باز و مدل‌های از پیش آموزش‌دیده، به محققان این امکان را می‌دهد تا الگوریتم‌های SSL را به طور عادلانه‌تر و کارآمدتر ارزیابی و توسعه دهند.

روش‌شناسی تحقیق در این مقاله شامل مراحل زیر است:

1. انتخاب مجموعه داده‌ها: نویسندگان 15 مجموعه داده متنوع و چالش‌برانگیز را از حوزه‌های CV، NLP و Audio انتخاب کرده‌اند. این مجموعه‌ها، طیف گسترده‌ای از وظایف طبقه‌بندی را پوشش می‌دهند، از جمله طبقه‌بندی تصویر، طبقه‌بندی متن و طبقه‌بندی صدا. انتخاب این مجموعه‌ها به گونه‌ای بوده که تنوع و پیچیدگی کافی را برای ارزیابی دقیق الگوریتم‌های SSL فراهم کنند.
2. پیاده‌سازی و ارزیابی الگوریتم‌های SSL: نویسندگان تعدادی از الگوریتم‌های SSL رایج و پیشرفته، از جمله FixMatch، MixMatch و ReMixMatch را پیاده‌سازی و بر روی مجموعه‌های داده انتخاب شده ارزیابی کرده‌اند. آنها از یک پروتکل ارزیابی استاندارد برای مقایسه عملکرد این الگوریتم‌ها استفاده کرده‌اند.
3. توسعه کد منبع متن‌باز: نویسندگان یک کد منبع ماژولار و قابل توسعه را برای ارزیابی الگوریتم‌های SSL به صورت متن‌باز ارائه کرده‌اند. این کد، شامل پیاده‌سازی الگوریتم‌های SSL، توابع ارزیابی و ابزارهایی برای مدیریت مجموعه داده‌ها است.
4. ارائه مدل‌های از پیش آموزش‌دیده: برای کاهش هزینه محاسباتی ارزیابی الگوریتم‌های SSL، نویسندگان نسخه‌های از پیش آموزش‌دیده مدل‌های عصبی پیشرفته را برای وظایف CV ارائه کرده‌اند. این مدل‌ها می‌توانند به عنوان نقطه شروع برای تنظیم دقیق الگوریتم‌های SSL استفاده شوند.

یکی از ویژگی‌های کلیدی روش‌شناسی این تحقیق، استفاده از یک پروتکل ارزیابی یکپارچه و استاندارد است که امکان مقایسه عادلانه و معنادار الگوریتم‌های SSL را فراهم می‌کند. این پروتکل، شامل معیارهای ارزیابی مختلف، از جمله دقت (Accuracy)، دقت (Precision)، فراخوانی (Recall) و نمره F1 (F1-score) است.

مثال عملی: فرض کنید می‌خواهیم عملکرد الگوریتم FixMatch را بر روی مجموعه داده CIFAR-10 ارزیابی کنیم. با استفاده از کد منبع USB، می‌توان به راحتی این الگوریتم را پیاده‌سازی کرده و بر روی مجموعه داده CIFAR-10 آموزش داد. سپس، می‌توان عملکرد الگوریتم را با استفاده از معیارهای ارزیابی مختلف، مانند دقت، ارزیابی کرد. این امکان وجود دارد که با تغییر پارامترهای الگوریتم و یا استفاده از مدل‌های از پیش آموزش‌دیده، به نتایج بهتری دست یافت.

برخی از یافته‌های کلیدی این تحقیق عبارتند از:

• الگوریتم‌های SSL می‌توانند به طور قابل توجهی عملکرد مدل‌ها را در شرایطی که داده‌های برچسب‌دار محدود هستند، بهبود بخشند.
• عملکرد الگوریتم‌های SSL به طور قابل توجهی بین وظایف مختلف متفاوت است. این نشان می‌دهد که انتخاب الگوریتم SSL مناسب، به وظیفه خاص بستگی دارد.
• مدل‌های از پیش آموزش‌دیده می‌توانند به طور قابل توجهی هزینه محاسباتی ارزیابی الگوریتم‌های SSL را کاهش دهند.
• چارچوب USB یک پلتفرم کارآمد و مقرون به صرفه برای ارزیابی و مقایسه الگوریتم‌های SSL است.

به طور خاص، نتایج نشان می‌دهند که الگوریتم FixMatch به طور کلی عملکرد خوبی بر روی مجموعه‌های داده مختلف دارد، اما عملکرد آن در برخی از وظایف، مانند طبقه‌بندی صدا، کمتر از حد انتظار است. این نشان می‌دهد که نیاز به توسعه الگوریتم‌های SSL تخصصی برای حوزه‌های مختلف وجود دارد.

این تحقیق دارای کاربردهای گسترده‌ای در زمینه‌های مختلف یادگیری ماشین و هوش مصنوعی است. برخی از کاربردهای بالقوه این تحقیق عبارتند از:

• بهبود عملکرد سیستم‌های تشخیص تصویر: با استفاده از الگوریتم‌های SSL، می‌توان عملکرد سیستم‌های تشخیص تصویر را در شرایطی که داده‌های برچسب‌دار محدود هستند، بهبود بخشید. به عنوان مثال، می‌توان از SSL برای بهبود عملکرد سیستم‌های تشخیص چهره در تصاویر با کیفیت پایین استفاده کرد.
• بهبود عملکرد سیستم‌های پردازش زبان طبیعی: با استفاده از الگوریتم‌های SSL، می‌توان عملکرد سیستم‌های پردازش زبان طبیعی را در وظایف مختلف، مانند طبقه‌بندی متن، ترجمه ماشینی و پاسخگویی به سوالات، بهبود بخشید.
• بهبود عملکرد سیستم‌های تشخیص صدا: با استفاده از الگوریتم‌های SSL، می‌توان عملکرد سیستم‌های تشخیص صدا را در محیط‌های پر سر و صدا و یا در شرایطی که داده‌های آموزشی محدودی وجود دارد، بهبود بخشید.
• توسعه الگوریتم‌های SSL جدید: چارچوب USB می‌تواند به عنوان یک پلتفرم برای توسعه و ارزیابی الگوریتم‌های SSL جدید مورد استفاده قرار گیرد.

یکی از دستاوردهای مهم این تحقیق، ارائه یک کد منبع متن‌باز برای ارزیابی الگوریتم‌های SSL است. این کد، به محققان این امکان را می‌دهد تا الگوریتم‌های SSL را به طور عادلانه‌تر و کارآمدتر ارزیابی و توسعه دهند. علاوه بر این، ارائه مدل‌های از پیش آموزش‌دیده، هزینه محاسباتی ارزیابی الگوریتم‌های SSL را به طور قابل توجهی کاهش می‌دهد.

مقاله “USB: محک یکپارچه‌ی یادگیری نیمه‌نظارتی برای طبقه‌بندی” یک گام مهم در جهت توسعه و ارزیابی الگوریتم‌های یادگیری نیمه‌نظارتی است. چارچوب USB، با ارائه مجموعه‌ای متنوع از وظایف، کد منبع متن‌باز و مدل‌های از پیش آموزش‌دیده، به محققان این امکان را می‌دهد تا الگوریتم‌های SSL را به طور عادلانه‌تر و کارآمدتر ارزیابی و توسعه دهند. نتایج این تحقیق نشان می‌دهد که الگوریتم‌های SSL می‌توانند به طور قابل توجهی عملکرد مدل‌ها را در شرایطی که داده‌های برچسب‌دار محدود هستند، بهبود بخشند. با این حال، عملکرد الگوریتم‌های SSL به طور قابل توجهی بین وظایف مختلف متفاوت است و نیاز به توسعه الگوریتم‌های SSL تخصصی برای حوزه‌های مختلف وجود دارد. در مجموع، USB یک منبع ارزشمند برای محققان و مهندسان در زمینه یادگیری ماشین و هوش مصنوعی است و می‌تواند به توسعه سیستم‌های هوشمند و کارآمدتر کمک کند. پیشنهاد می شود که در تحقیقات آتی، تمرکز بیشتری بر توسعه الگوریتم‌های SSL تخصصی برای حوزه‌های خاص و همچنین بررسی تأثیر پارامترهای مختلف الگوریتم‌های SSL بر عملکرد آنها صورت گیرد.