ترجمه فارسی مقاله الگوریتم زیرگرادیان مزدوج تصادفی برای ماشین‌های بردار پشتیبان هسته

چکیده

Stochastic First-Order (SFO) methods have been a cornerstone in addressing a broad spectrum of modern machine learning (ML) challenges. However, their efficacy is increasingly questioned, especially in large-scale applications where empirical evidence indicates potential performance limitations. In response, this paper proposes an innovative method specifically designed for kernel support vector machines (SVMs). This method not only achieves faster convergence per iteration but also exhibits enhanced scalability when compared to conventional SFO techniques. Diverging from traditional sample average approximation strategies that typically frame kernel SVM as an ‘all-in-one’ Quadratic Program (QP), our approach adopts adaptive sampling. This strategy incrementally refines approximation accuracy on an ‘as-needed’ basis. Crucially, this approach also inspires a decomposition-based algorithm, effectively decomposing parameter selection from error estimation, with the latter being independently determined for each data point. To exploit the quadratic nature of the kernel matrix, we introduce a stochastic conjugate subgradient method. This method preserves many benefits of first-order approaches while adeptly handling both nonlinearity and non-smooth aspects of the SVM problem. Thus, it extends beyond the capabilities of standard SFO algorithms for non-smooth convex optimization. The convergence rate of this novel method is thoroughly analyzed within this paper. Our experimental results demonstrate that the proposed algorithm not only maintains but potentially exceeds the scalability of SFO methods. Moreover, it significantly enhances both speed and accuracy of the optimization process.

چکیده به فارسی (ترجمه ماشینی)

روشهای مرتبه اول تصادفی (SFO) یک سنگ بنای در پرداختن به طیف گسترده ای از چالش های یادگیری ماشین مدرن (ML) بوده است.با این حال ، اثربخشی آنها به طور فزاینده ای مورد سؤال قرار می گیرد ، به ویژه در برنامه های در مقیاس بزرگ که شواهد تجربی نشانگر محدودیت های بالقوه عملکرد است.در پاسخ ، این مقاله روشی نوآورانه را که به طور خاص برای دستگاه های بردار پشتیبانی هسته (SVM) طراحی شده است ، ارائه می دهد.این روش نه تنها به همگرایی سریعتر در هر تکرار می رسد بلکه در مقایسه با تکنیک های SFO معمولی ، مقیاس پذیری بیشتری را نشان می دهد.واگرایی از استراتژی های تقریبی متوسط ​​نمونه سنتی که به طور معمول هسته SVM را به عنوان یک برنامه درجه دوم “همه در یک” (QP) قاب می کند ، رویکرد ما نمونه گیری تطبیقی ​​را اتخاذ می کند.این استراتژی به تدریج دقت تقریبی را بر اساس “مورد نیاز” اصلاح می کند.از نظر مهم ، این رویکرد همچنین الگوریتم مبتنی بر تجزیه را الهام می دهد ، و به طور مؤثر انتخاب پارامتر از برآورد خطا را تجزیه می کند ، و دومی به طور مستقل برای هر نقطه داده تعیین می شود.برای بهره برداری از ماهیت درجه دوم ماتریس هسته ، ما یک روش فرعی کونژوگه تصادفی را معرفی می کنیم.این روش مزایای بسیاری از رویکردهای مرتبه اول را حفظ می کند در حالی که به طور دقیق و غیرقانونی و غیرقانونی از مشکل SVM استفاده می کند.بنابراین ، فراتر از قابلیت های الگوریتم های استاندارد SFO برای بهینه سازی محدب غیر صاف است.میزان همگرایی این روش جدید به طور کامل در این مقاله مورد تجزیه و تحلیل قرار می گیرد.نتایج تجربی ما نشان می دهد که الگوریتم پیشنهادی نه تنها حفظ می کند بلکه به طور بالقوه از مقیاس پذیری روشهای SFO فراتر می رود.علاوه بر این ، این هم سرعت و هم به دقت روند بهینه سازی را افزایش می دهد.