در دنیای یادگیری ماشین، دستیابی به بالاترین دقت ممکن همواره یکی از اهداف اصلی بوده است. رویکرد مرسوم برای رسیدن به این هدف، فرآیندی دو مرحله‌ای است: ابتدا، چندین مدل با پیکربندی‌های مختلفِ اَبَرپارامترها (مانند نرخ یادگیری، وزن واپاشی و غیره) آموزش داده می‌شوند. سپس، مدلی که بهترین عملکرد را روی یک مجموعه داده اعتبارسنجی (validation set) دارد، انتخاب و باقی مدل‌ها کنار گذاشته می‌شوند. این روش، با وجود کارایی، بخش قابل توجهی از تلاش محاسباتی و اطلاعات نهفته در مدل‌های “ناموفق” را هدر می‌دهد.

مقاله «سوپ مدل‌ها» این رویکرد سنتی را به چالش می‌کشد. نویسندگان نشان می‌دهند که به جای دور ریختن مدل‌های دیگر، می‌توان با میانگین‌گیری وزن‌های چندین مدلِ ریزتنظیم‌شده (fine-tuned)، به مدلی دست یافت که عملکردی بهتر از تک‌تک آن‌ها دارد. این تکنیک که «سوپ مدل‌ها» (Model Soups) نامیده می‌شود، نه تنها دقت و پایداری (robustness) مدل را افزایش می‌دهد، بلکه هیچ هزینه اضافی در زمان استنتاج (inference time) یا حافظه مورد نیاز ایجاد نمی‌کند. این ویژگی، سوپ مدل‌ها را از روش‌های هم‌افزایی (ensembling) سنتی که نیازمند اجرای همزمان چندین مدل هستند، متمایز می‌سازد و آن را به یک راه‌حل عملی و کارآمد تبدیل می‌کند.

این مقاله حاصل همکاری گروهی از پژوهشگران برجسته از مؤسسات پیشرو در حوزه هوش مصنوعی است. نویسندگان مقاله، از جمله میچل ورتسمن، گابریل ایلهارکو، علی فرهادی و لودویگ اشمیت، از دانشگاه واشنگتن، مؤسسه هوش مصنوعی آلن (AI2)، گوگل ریسرچ و دانشگاه کالیفرنیا، برکلی هستند. این ترکیب از تخصص دانشگاهی و صنعتی، به مقاله عمق و اعتبار ویژه‌ای بخشیده است.

زمینه اصلی تحقیق، بهینه‌سازی فرآیند آموزش و انتخاب مدل‌های بزرگ از پیش‌آموزش‌دیده (large pre-trained models) مانند CLIP، ALIGN و ViT-G است. این مدل‌ها که بر روی مجموعه داده‌های عظیم آموزش دیده‌اند، معمولاً برای وظایف خاصی «ریزتنظیم» می‌شوند. پژوهشگران در این مقاله به این مشاهده کلیدی دست یافتند که مدل‌های ریزتنظیم‌شده با ابرپارامترهای مختلف، اغلب در یک «حوضه خطای کم» (low error basin) در فضای پارامترها قرار می‌گیرند. این یافته، مبنای تئوریک موفقیت روش میانگین‌گیری وزن‌ها را تشکیل می‌دهد.

این مقاله روشی ساده و در عین حال قدرتمند به نام «سوپ مدل‌ها» را برای بهبود عملکرد مدل‌های یادگیری عمیق معرفی می‌کند. برخلاف رویه استاندارد که تنها بهترین مدل حاصل از جستجوی ابرپارامترها انتخاب می‌شود، این روش پیشنهاد می‌کند که وزن‌های چندین مدل با عملکرد خوب با یکدیگر ترکیب (میانگین‌گیری) شوند. این کار منجر به تولید یک مدل واحد می‌شود که هم دقیق‌تر و هم در برابر داده‌های خارج از توزیع (out-of-distribution) مقاوم‌تر است.

نکته کلیدی این است که «سوپ» نهایی یک مدل منفرد است و به همین دلیل هیچ بار محاسباتی اضافی در زمان استنتاج ندارد. نویسندگان این روش را بر روی مدل‌های پیشرفته بینایی کامپیوتر مانند ViT-G (که روی مجموعه داده JFT آموزش دیده) پیاده‌سازی کرده و به نتایج شگفت‌انگیزی دست یافتند. مدل ViT-G حاصل از این روش، با دستیابی به دقت ۹۰.۹۴٪ در طبقه‌بندی Top-1 در مجموعه داده ImageNet، رکورد جدیدی را در این زمینه به ثبت رساند. علاوه بر این، مقاله نشان می‌دهد که این رویکرد در وظایف مختلف پردازش زبان طبیعی و همچنین در سناریوهای یادگیری صفر-shot (zero-shot) نیز مؤثر است.

فرآیند ساخت «سوپ مدل» بسیار ساده و قابل پیاده‌سازی است و جایگزین مرحله دوم رویکرد سنتی (انتخاب بهترین مدل) می‌شود. مراحل اصلی این روش به شرح زیر است:

• مرحله ۱: جستجوی ابرپارامترها (Hyperparameter Sweep): ابتدا، مجموعه‌ای از مدل‌ها با استفاده از تنظیمات مختلف ابرپارامترها (مانند نرخ یادگیری، بهینه‌ساز، و وزن واپاشی) روی مجموعه داده هدف، ریزتنظیم می‌شوند. این مرحله مشابه رویکرد استاندارد است.
• مرحله ۲: فیلتر کردن مدل‌ها: پس از اتمام آموزش، مدل‌ها بر اساس عملکردشان روی مجموعه داده اعتبارسنجی ارزیابی می‌شوند. تنها مدل‌هایی که دقتی بالاتر از یک آستانه مشخص دارند، برای مرحله بعد انتخاب می‌شوند.
• مرحله ۳: ساخت سوپ (میانگین‌گیری وزن‌ها): وزن‌های مدل‌های فیلترشده با یکدیگر میانگین‌گیری می‌شوند تا مدل نهایی یا «سوپ» ساخته شود.

نویسندگان دو نوع اصلی از «سوپ» را معرفی می‌کنند:

1. سوپ یکنواخت (Uniform Soup): در این روش، وزن‌های تمام مدل‌هایی که عملکردشان از آستانه تعیین‌شده بهتر است، به طور یکسان میانگین‌گیری می‌شوند. این ساده‌ترین و کارآمدترین شکل این تکنیک است.
2. سوپ حریصانه (Greedy Soup): این روش کمی پیچیده‌تر است. ابتدا مدل‌ها بر اساس عملکردشان مرتب می‌شوند. بهترین مدل به عنوان پایه سوپ انتخاب می‌شود. سپس، سایر مدل‌ها یک به یک به سوپ اضافه می‌شوند (وزن‌هایشان با سوپ فعلی میانگین‌گیری می‌شود) و تنها در صورتی در سوپ باقی می‌مانند که عملکرد مدل ترکیبی جدید روی مجموعه اعتبارسنجی بهبود یابد. این فرآیند تا بررسی همه مدل‌ها ادامه پیدا می‌کند.

این مقاله همچنین به صورت تحلیلی ارتباط بین میانگین‌گیری وزن‌ها و هم‌افزایی لاجیت‌ها (logit ensembling) را بررسی کرده و نشان می‌دهد که شباهت عملکرد این دو روش به مسطح بودن چشم‌انداز تابع هزینه (flatness of the loss) و اطمینان پیش‌بینی‌های مدل بستگی دارد.

آزمایش‌های انجام‌شده در این مقاله نتایج قابل توجهی را به همراه داشته است که اهمیت این روش را برجسته می‌کند:

• دستیابی به رکورد جدید (State-of-the-Art): مهم‌ترین دستاورد، کسب دقت ۹۰.۹۴٪ Top-1 در ImageNet با استفاده از مدل ViT-G بود. این نتیجه به طور قابل توجهی بهتر از بهترین مدل منفردی بود که در فرآیند جستجوی ابرپارامترها پیدا شده بود (که دقتی معادل ۹۰.۸۸٪ داشت).
• بهبود پایداری و عملکرد خارج از توزیع (OOD): سوپ مدل‌ها نه تنها در مجموعه داده اصلی (in-distribution) بهتر عمل می‌کند، بلکه در مجموعه داده‌های چالشی مانند ImageNet-A، ImageNet-R و ImageNet-Sketch نیز پایداری و دقت بالاتری از خود نشان می‌دهد. این نشان‌دهنده تعمیم‌پذیری بهتر مدل ترکیبی است.
• کارایی در حوزه‌های مختلف: این روش محدود به بینایی کامپیوتر نیست. نویسندگان نشان دادند که سوپ مدل‌ها در وظایف پردازش زبان طبیعی (NLP) مانند طبقه‌بندی متن نیز عملکرد مدل‌های پایه را بهبود می‌بخشد.
• بهبود عملکرد Zero-Shot: در مدل‌های چندوجهی (multi-modal) مانند CLIP، میانگین‌گیری وزن‌ها منجر به بهبود عملکرد در وظایف صفر-shot (ارزیابی روی وظایفی که مدل برای آن‌ها آموزش ندیده) می‌شود.
• سادگی و کارایی: شاید مهم‌ترین یافته عملی این باشد که این بهبود عملکرد بدون هیچ هزینه اضافی در زمان استنتاج به دست می‌آید. این یک مزیت بزرگ نسبت به روش‌های هم‌افزایی است که نیاز به منابع محاسباتی چند برابری دارند.

«سوپ مدل‌ها» یک دستورالعمل عملی و قدرتمند برای بهبود مدل‌های یادگیری عمیق است که می‌تواند به راحتی در خطوط لوله (pipelines) موجود یادگیری ماشین گنجانده شود. دستاوردهای اصلی آن عبارتند از:

• بهینه‌سازی استفاده از منابع محاسباتی: به جای دور ریختن نتایج ساعت‌ها یا روزها محاسبات صرف‌شده برای آموزش مدل‌های مختلف، این روش از آن‌ها برای ساخت یک مدل برتر استفاده می‌کند. این یک «ناهار رایگان» (free lunch) در دنیای یادگیری ماشین است.
• افزایش دقت بدون هزینه اضافی: برای کاربردهایی که سرعت استنتاج و بهره‌وری حافظه حیاتی است (مانند اپلیکیشن‌های موبایل یا سیستم‌های بی‌درنگ)، سوپ مدل‌ها راهی برای افزایش دقت بدون قربانی کردن کارایی ارائه می‌دهد.
• یک رویکرد عمومی: این تکنیک به معماری یا وظیفه خاصی وابسته نیست و می‌تواند برای طیف گسترده‌ای از مدل‌ها و کاربردها، از بینایی کامپیوتر گرفته تا پردازش زبان طبیعی، مورد استفاده قرار گیرد.
• جایگزینی برای رویه استاندارد: این مقاله به طور جدی این پرسش را مطرح می‌کند که آیا رویه «انتخاب بهترین مدل» همچنان بهترین استراتژی است یا خیر. سوپ مدل‌ها یک جایگزین ساده و مؤثر ارائه می‌دهد که در بسیاری از موارد برتر است.

مقاله «سوپ مدل‌ها» یک ایده ساده اما بسیار تأثیرگذار را معرفی می‌کند که پارادایم رایج در انتخاب مدل را به چالش می‌کشد. با نشان دادن اینکه میانگین‌گیری وزن‌های چندین مدلِ ریزتنظیم‌شده می‌تواند به طور مداوم به نتایج بهتری نسبت به بهترین مدل منفرد منجر شود، نویسندگان راهی جدید برای بهره‌برداری حداکثری از فرآیند پرهزینه جستجوی ابرپارامترها ارائه می‌دهند.

این روش، با ارائه بهبود در دقت، پایداری و تعمیم‌پذیری بدون تحمیل هیچ‌گونه هزینه اضافی در زمان استنتاج، نه تنها یک دستاورد علمی مهم است، بلکه یک ابزار عملی ارزشمند برای مهندسان و پژوهشگران یادگیری ماشین به شمار می‌رود. موفقیت چشمگیر آن در ثبت رکورد جدید در ImageNet و کارایی آن در دامنه‌های مختلف، نشان می‌دهد که «سوپ مدل‌ها» پتانسیل تبدیل شدن به یک رویه استاندارد جدید در آموزش مدل‌های یادگیری عمیق را دارد.