ترجمه فارسی مقاله بهینه‌سازی سریع بدون محدودیت از طریق روش‌های نمونه‌گیری میانگین‌گیری هسی و شیب تطبیقی

چکیده

We consider minimizing finite-sum and expectation objective functions via Hessian-averaging based subsampled Newton methods. These methods allow for gradient inexactness and have fixed per-iteration Hessian approximation costs. The recent work (Na et al. 2023) demonstrated that Hessian averaging can be utilized to achieve fast $\mathcal{O}\left(\sqrt{\tfrac{\log k}{k}}\right)$ local superlinear convergence for strongly convex functions in high probability, while maintaining fixed per-iteration Hessian costs. These methods, however, require gradient exactness and strong convexity, which poses challenges for their practical implementation. To address this concern we consider Hessian-averaged methods that allow gradient inexactness via norm condition based adaptive-sampling strategies. For the finite-sum problem we utilize deterministic sampling techniques which lead to global linear and sublinear convergence rates for strongly convex and nonconvex functions respectively. In this setting we are able to derive an improved deterministic local superlinear convergence rate of $\mathcal{O}\left(\tfrac{1}{k}\right)$. For the %expected risk expectation problem we utilize stochastic sampling techniques, and derive global linear and sublinear rates for strongly convex and nonconvex functions, as well as a $\mathcal{O}\left(\tfrac{1}{\sqrt{k}}\right)$ local superlinear convergence rate, all in expectation. We present novel analysis techniques that differ from the previous probabilistic results. Additionally, we propose scalable and efficient variations of these methods via diagonal approximations and derive the novel diagonally-averaged Newton (Dan) method for large-scale problems. Our numerical results demonstrate that the Hessian averaging not only helps with convergence, but can lead to state-of-the-art performance on difficult problems such as CIFAR100 classification with ResNets.

چکیده به فارسی (ترجمه ماشینی)

ما به حداقل رساندن توابع هدف محدود و انتظار از طریق روشهای زیرزمینی مبتنی بر Hessian با میانگین جدید نیوتن در نظر می گیریم.این روشها امکان عدم موفقیت شیب را فراهم می کند و هزینه های تقریب هسیایی را در هر بادی ثابت می کند.کار اخیر (Na et al. 2023) نشان داد که می توان از میانگین هسیان برای دستیابی به سریع $ \ Mathcal {o} \ سمت چپ استفاده کرد (\ sqrt {\ tfrac {\ log k} {k}} \ right) $ converence superlinear محلی محلیبرای عملکردهای قوی محدب در احتمال زیاد ، ضمن حفظ هزینه های هسیایی در هر بادی ثابت.با این حال ، این روش ها به دقت شیب و محدب قوی نیاز دارند ، که برای اجرای عملی آنها چالش هایی را ایجاد می کند.برای پرداختن به این نگرانی ، ما روشهای متوسط ​​هسیایی را در نظر می گیریم که امکان عدم موفقیت شیب را از طریق استراتژی های نمونه برداری تطبیقی ​​مبتنی بر شرایط هنجار فراهم می کند.برای مسئله محدود محدود ، ما از تکنیک های نمونه گیری قطعی استفاده می کنیم که به ترتیب منجر به نرخ همگرایی خطی و زیر خطی جهانی برای عملکردهای به شدت محدب و غیر کنفکس می شود.در این تنظیم ما می توانیم یک نرخ همگرایی فوق العاده محلی تعیین شده از $ \ mathcal {o} \ سمت چپ (\ tfrac {1} {k} \ راست) را بدست آوریم.برای مشکل انتظار انتظار در مورد ریسک ما از تکنیک های نمونه گیری تصادفی استفاده می کنیم و نرخ های خطی و زیر خطی جهانی را برای توابع به شدت محدب و غیر کنفکس به دست می آوریم ، و همچنین یک $ \ mathcal {o} \ سمت چپ (\ tfrac {1} {\ sqrt {k}} \ RIGHT) $ نرخ همگرایی فوق العاده محلی محلی ، همه در انتظار.ما تکنیک های تجزیه و تحلیل جدید را ارائه می دهیم که با نتایج احتمالی قبلی متفاوت است.علاوه بر این ، ما تغییرات مقیاس پذیر و کارآمد این روش ها را از طریق تقریبی مورب پیشنهاد می کنیم و روش جدید نیوتن (DAN) به طور متوسط ​​مورب را برای مشکلات در مقیاس بزرگ استخراج می کنیم.نتایج عددی ما نشان می دهد که میانگین هسی نه تنها به همگرایی کمک می کند ، بلکه می تواند منجر به عملکرد پیشرفته در مشکلات دشوار مانند طبقه بندی CIFAR100 با Resnets شود.