ترجمه فارسی مقاله شرایط همگرایی برای بهینه‌سازی مبتنی بر جستجوی خطی تصادفی مدل‌های بیش‌پارامتری

چکیده

In this paper, we deal with algorithms to solve the finite-sum problems related to fitting over-parametrized models, that typically satisfy the interpolation condition. In particular, we focus on approaches based on stochastic line searches and employing general search directions. We define conditions on the sequence of search directions that guarantee finite termination and bounds for the backtracking procedure. Moreover, we shed light on the additional property of directions needed to prove fast (linear) convergence of the general class of algorithms when applied to PL functions in the interpolation regime. From the point of view of algorithms design, the proposed analysis identifies safeguarding conditions that could be employed in relevant algorithmic framework. In particular, it could be of interest to integrate stochastic line searches within momentum, conjugate gradient or adaptive preconditioning methods.

چکیده به فارسی (ترجمه ماشینی)

در این مقاله ، ما با الگوریتم ها برای حل مشکلات محدوده محدود مربوط به متناسب با مدل های بیش از حد پارامتر ، که به طور معمول شرایط درون یابی را برآورده می کنند ، سروکار داریم.به طور خاص ، ما بر رویکردهای مبتنی بر جستجوهای خط تصادفی و استفاده از مسیرهای جستجوی کلی تمرکز می کنیم.ما شرایط را در دنباله جهت های جستجو تعریف می کنیم که خاتمه محدود و مرزهای مربوط به روش برگشت را تضمین می کند.علاوه بر این ، ما خاصیت اضافی جهت های لازم برای اثبات همگرایی سریع (خطی) کلاس کلی الگوریتم ها را هنگام استفاده از توابع PL در رژیم درون یابی روشن می کنیم.از دیدگاه طراحی الگوریتم ها ، تجزیه و تحلیل پیشنهادی شرایط محافظت را که می تواند در چارچوب الگوریتمی مربوطه استفاده شود ، مشخص می کند.به طور خاص ، این می تواند مورد توجه قرار گیرد که جستجوهای خط تصادفی را در روش های پیش شرط ، شیب مزدوج یا پیش شرط سازگار ادغام کنید.