در دنیای یادگیری عمیق مدرن، مدل‌ها اغلب بیش‌پارامترشده (Over-parameterized) هستند؛ یعنی تعداد پارامترهای آن‌ها بسیار بیشتر از تعداد نمونه‌های آموزشی است. این ویژگی باعث می‌شود که فرآیند بهینه‌سازی نقشی حیاتی در عملکرد نهایی مدل ایفا کند. یک مدل ممکن است در داده‌های آموزشی به دقت کامل برسد، اما در مواجهه با داده‌های جدید و دیده‌نشده (داده‌های آزمون) عملکرد ضعیفی از خود نشان دهد. این پدیده که به آن «شکاف تعمیم» (Generalization Gap) می‌گویند، یکی از بزرگترین چالش‌های این حوزه است.

یکی از رویکردهای نوین برای بهبود تعمیم‌پذیری، تمرکز بر روی هندسه «چشم‌انداز زیان» (Loss Landscape) است. این چشم‌انداز، سطحی چندبعدی است که تابع زیان را بر اساس مقادیر مختلف پارامترهای مدل ترسیم می‌کند. تحقیقات نشان داده‌اند که کمینه‌های (minima) مسطح در این چشم‌انداز، به تعمیم‌پذیری بهتری منجر می‌شوند، در حالی که کمینه‌های تیز، شکننده بوده و عملکرد مدل را در برابر تغییرات کوچک در داده‌ها تضعیف می‌کنند.

در این راستا، الگوریتم کمینه‌سازی آگاه از تیزی (Sharpness-Aware Minimization – SAM) معرفی شد تا الگوریتم‌های بهینه‌سازی را به سمت یافتن کمینه‌های مسطح هدایت کند. این مقاله، بر روی نسخه‌ای بهبودیافته از این الگوریتم به نام mSAM تمرکز دارد. اهمیت این پژوهش در آن است که برای اولین بار، یک ارزیابی تجربی جامع و گسترده از mSAM بر روی وظایف و معماری‌های متنوع ارائه می‌دهد و شکاف موجود در تحقیقات پیشین را پر می‌کند. این مقاله نشان می‌دهد که چگونه mSAM می‌تواند با هزینه‌ی محاسباتی اندک، تعمیم‌پذیری مدل‌های پیچیده را به شکل قابل توجهی افزایش دهد.

این مقاله حاصل همکاری گروهی از محققان برجسته به نام‌های کیهان بهدین، چینگ‌چوان سانگ، امان گوپتا، دیوید دورفی، آیان آچاریا، ساتیا کیرتی و راحول مازومدر است. این پژوهش در حوزه‌ی تخصصی یادگیری ماشین و بهینه‌سازی کنترل قرار می‌گیرد؛ دو زمینه‌ای که در قلب پیشرفت‌های هوش مصنوعی مدرن قرار دارند.

تمرکز اصلی این محققان بر روی طراحی الگوریتم‌های بهینه‌سازی است که نه تنها مدل را به خوبی بر روی داده‌های آموزشی منطبق می‌کنند، بلکه تضمین می‌کنند که مدل در دنیای واقعی نیز عملکردی قابل اعتماد و قوی داشته باشد. این تحقیق، تلاش‌های پیشین در زمینه‌ی الگوریتم SAM را یک گام به جلو برده و راهکاری عملی‌تر و کارآمدتر برای آموزش مدل‌های عمیق ارائه می‌دهد.

مدل‌های یادگیری عمیق امروزی، به دلیل ظرفیت بالای خود، می‌توانند به راحتی داده‌های آموزشی را حفظ کنند. اینجاست که نقش الگوریتم بهینه‌سازی برای یافتن راه‌حل‌هایی با قابلیت «تعمیم» پررنگ می‌شود. الگوریتم SAM با تغییر تابع زیان، سعی می‌کند الگوریتم‌های گرادیان کاهشی را به سمت «دره‌های مسطح» در چشم‌انداز زیان هدایت کند.

این مقاله به بررسی دقیق نسخه‌ای از SAM به نام mSAM می‌پردازد. روش کار mSAM به این صورت است که در هر مرحله از آموزش، یک دسته‌ی کوچک (mini-batch) از داده‌ها را به چند بخش مجزا (shard) تقسیم می‌کند. سپس برای هر بخش، یک «اغتشاش خصمانه» (adversarial perturbation) محاسبه کرده و در نهایت، به‌روزرسانی‌های حاصل از این اغتشاش‌ها را با هم میانگین می‌گیرد. مطالعات اولیه نشان داده بودند که mSAM پتانسیل عملکرد بهتری نسبت به SAM دارد، اما این ادعا هرگز به صورت جامع بررسی نشده بود.

پژوهش حاضر این خلأ را پر می‌کند. نویسندگان با پیاده‌سازی یک نسخه‌ی انعطاف‌پذیر از mSAM، عملکرد تعمیم‌پذیری آن را با SAM و روش‌های آموزش استاندارد (مانند SGD یا Adam) در طیف وسیعی از وظایف مقایسه می‌کنند. این وظایف شامل طبقه‌بندی تصویر و پردازش زبان طبیعی (NLP) می‌شوند. علاوه بر این، مقاله به دقت هزینه‌های محاسباتی، حساسیت به ابرپارامترها و ارتباط مستقیم این روش با مسطح بودن چشم‌انداز زیان را تحلیل می‌کند.

برای ارائه یک ارزیابی جامع، نویسندگان یک پروتکل آزمایشی دقیق و چندوجهی را طراحی کردند:

• مقایسه سه‌گانه: عملکرد سه رویکرد بهینه‌سازی به طور مستقیم مقایسه شد:
  1. آموزش استاندارد (Vanilla): استفاده از بهینه‌سازهای رایج مانند SGD با مومنتوم.
  2. SAM: کمینه‌سازی آگاه از تیزی استاندارد.
  3. mSAM: نسخه‌ی پیشنهادی با میانگین‌گیری روی چند بخش از داده.
• تنوع در وظایف و مجموعه داده‌ها: برای اطمینان از عمومیت یافته‌ها، آزمایش‌ها بر روی مجموعه داده‌های متنوعی انجام شد. در حوزه بینایی ماشین از دیتاست‌هایی مانند CIFAR-10، CIFAR-100 و ImageNet و در حوزه پردازش زبان طبیعی از وظایف استاندارد NLP استفاده شد.
• تنوع در معماری‌ها: مدل‌های مختلفی از جمله شبکه‌های کانولوشنی (مانند ResNet) و ترنسفورمرها (مانند Vision Transformer) برای ارزیابی به کار گرفته شدند تا نشان دهند که مزایای mSAM محدود به یک نوع معماری خاص نیست.
• سنجش معیارها: معیارهای کلیدی زیر به دقت اندازه‌گیری شدند:
  • دقت آزمون (Test Accuracy): به عنوان شاخص اصلی تعمیم‌پذیری.
  • هزینه محاسباتی: زمان مورد نیاز برای هر эпоха (epoch) آموزشی.
  • میزان مسطح بودن (Flatness): با استفاده از معیارهای ریاضی مانند مقادیر ویژه ماتریس هسین (Hessian eigenvalues) برای تأیید ارتباط بین روش بهینه‌سازی و هندسه چشم‌انداز زیان.
• تحلیل حساسیت: تأثیر ابرپارامترهای کلیدی مانند نرخ یادگیری و شعاع همسایگی (ρ) در الگوریتم‌های SAM و mSAM بررسی شد تا پایداری و鲁棒ی (robustness) این روش‌ها سنجیده شود.

نتایج تجربی این پژوهش گسترده، چندین یافته مهم و قاطع را به همراه داشت:

• تعمیم‌پذیری برتر mSAM: در تمامی وظایف و معماری‌های مورد بررسی، mSAM به طور مداوم به دقت آزمون بالاتری نسبت به SAM و آموزش استاندارد دست یافت. این برتری اگرچه ممکن است درصدهای کوچکی باشد (مثلاً ۰.۵٪ تا ۱.۵٪)، اما در مقیاس مدل‌های بزرگ و کاربردهای حساس، یک پیشرفت معنادار محسوب می‌شود.
• یافتن کمینه‌های مسطح‌تر: تحلیل‌های مربوط به چشم‌انداز زیان تأیید کرد که mSAM به طور مؤثری کمینه‌هایی مسطح‌تر از SAM پیدا می‌کند. این یافته، ارتباط مستقیم بین مکانیسم میانگین‌گیری در mSAM و دستیابی به راه‌حل‌های پایدارتر را اثبات می‌کند و فرضیه «مسطح بودن منجر به تعمیم بهتر می‌شود» را تقویت می‌کند.
• کارایی محاسباتی قابل قبول: یکی از مهم‌ترین دستاوردهای این مقاله این است که نشان می‌دهد mSAM افزایش قابل توجهی در هزینه‌های محاسباتی نسبت به SAM ندارد. هر دو روش SAM و mSAM به دلیل نیاز به دو مرحله محاسبه گرادیان در هر گام، از آموزش استاندارد کندتر هستند. اما سربار محاسباتی تبدیل SAM به mSAM بسیار ناچیز است. این ویژگی mSAM را به یک جایگزین عملی و جذاب تبدیل می‌کند.
• سازگاری و عمومیت: نتایج در طیف وسیعی از کاربردها، از طبقه‌بندی تصاویر ساده گرفته تا مدل‌های زبان پیچیده، یکپارچه و سازگار بودند. این موضوع نشان می‌دهد که mSAM یک ابزار بهینه‌سازی عمومی است و موفقیت آن تصادفی یا محدود به یک سناریوی خاص نیست.

این تحقیق پیامدهای عملی و نظری مهمی برای جامعه هوش مصنوعی دارد:

• برای مهندسان و متخصصان یادگیری ماشین: mSAM یک ابزار قدرتمند و آماده برای استفاده است که می‌تواند به سادگی جایگزین بهینه‌سازهای موجود شود و عملکرد مدل‌های آن‌ها را بهبود بخشد. با توجه به هزینه محاسباتی پایین آن نسبت به SAM، استفاده از آن برای آموزش مدل‌های بزرگ در صنعت کاملاً توجیه‌پذیر است.
• برای پژوهشگران: این مقاله یک معیار (baseline) جدید و قوی برای الگوریتم‌های بهینه‌سازی آگاه از تیزی ایجاد می‌کند. پیاده‌سازی متن‌باز و نتایج جامع آن می‌تواند به عنوان نقطه‌ی شروعی برای تحقیقات آینده در زمینه بهبود پایداری و تعمیم‌پذیری مدل‌های عمیق عمل کند.
• پیشبرد دانش نظری: با ارائه شواهد تجربی محکم، این پژوهش درک ما را از دلایل موفقیت الگوریتم‌های آگاه از تیزی عمیق‌تر می‌کند. این مقاله نشان می‌دهد که چگونه یک اصلاح ساده در الگوریتم (میانگین‌گیری از اغتشاش‌ها) می‌تواند به تخمین بهتری از هندسه‌ی محلی چشم‌انداز زیان و در نتیجه، به راه‌حل‌های باکیفیت‌تر منجر شود.

مقاله «بهبود تعمیم‌پذیری شبکه‌های عصبی عمیق با m-کمینه‌سازی آگاه از تیزی» یک مطالعه تجربی جامع و دقیق را ارائه می‌دهد که برتری الگوریتم mSAM را نسبت به SAM و روش‌های بهینه‌سازی استاندارد به اثبات می‌رساند. این پژوهش نشان می‌دهد که mSAM با هدایت فرآیند آموزش به سمت کمینه‌های مسطح‌تر در چشم‌انداز زیان، به طور مؤثری قابلیت تعمیم مدل‌های یادگیری عمیق را در گستره‌ی وسیعی از وظایف و معماری‌ها افزایش می‌دهد.

با توجه به اینکه این بهبود عملکرد بدون تحمیل هزینه محاسباتی قابل توجهی به دست می‌آید، mSAM به عنوان یک راهکار عملی و کارآمد برای ساخت مدل‌های هوش مصنوعی قوی‌تر و قابل‌اعتمادتر معرفی می‌شود. این کار نه تنها یک ابزار مفید در اختیار متخصصان قرار می‌دهد، بلکه درک نظری ما را از ارتباط میان بهینه‌سازی، هندسه تابع زیان و تعمیم‌پذیری عمیق‌تر می‌سازد.