ترجمه فارسی مقاله بهینه سازی دوسطحی غیر محدب آنلاین با واگرایی های برگمن

چکیده

Bilevel optimization methods are increasingly relevant within machine learning, especially for tasks such as hyperparameter optimization and meta-learning. Compared to the offline setting, online bilevel optimization (OBO) offers a more dynamic framework by accommodating time-varying functions and sequentially arriving data. This study addresses the online nonconvex-strongly convex bilevel optimization problem. In deterministic settings, we introduce a novel online Bregman bilevel optimizer (OBBO) that utilizes adaptive Bregman divergences. We demonstrate that OBBO enhances the known sublinear rates for bilevel local regret through a novel hypergradient error decomposition that adapts to the underlying geometry of the problem. In stochastic contexts, we introduce the first stochastic online bilevel optimizer (SOBBO), which employs a window averaging method for updating outer-level variables using a weighted average of recent stochastic approximations of hypergradients. This approach not only achieves sublinear rates of bilevel local regret but also serves as an effective variance reduction strategy, obviating the need for additional stochastic gradient samples at each timestep. Experiments on online hyperparameter optimization and online meta-learning highlight the superior performance, efficiency, and adaptability of our Bregman-based algorithms compared to established online and offline bilevel benchmarks.

چکیده به فارسی (ترجمه ماشینی)

روشهای بهینه سازی صفراوی به طور فزاینده ای در یادگیری ماشین ، به ویژه برای کارهایی مانند بهینه سازی هایپرپارامتر و یادگیری متا مرتبط هستند.در مقایسه با تنظیمات آفلاین ، بهینه سازی صفراوی آنلاین (OBO) با استفاده از توابع متغیر زمان و داده های متوالی ، یک چارچوب پویاتر را ارائه می دهد.این مطالعه به مسئله بهینه سازی صفراوی محدب محدب آنلاین غیرحضوری می پردازد.در تنظیمات قطعی ، ما یک رمان آنلاین Bregman Bilevel Optimizer (OBBO) را معرفی می کنیم که از واگرایی های تطبیقی ​​Bregman استفاده می کند.ما نشان می دهیم که OBBO میزان زیر خطی شناخته شده را برای پشیمانی محلی صفرا از طریق تجزیه خطای جدید فشار خون که با هندسه اساسی مشکل سازگار است ، افزایش می دهد.در زمینه های تصادفی ، ما اولین بهینه ساز آنلاین Bilevel (SOBBO) را معرفی می کنیم ، که از یک روش متوسط ​​پنجره برای به روزرسانی متغیرهای سطح بیرونی با استفاده از میانگین وزنی تقریب های تصادفی اخیر از فشار خون استفاده می کند.این رویکرد نه تنها به میزان زیر خطی پشیمانی محلی صفراوی دست می یابد بلکه به عنوان یک استراتژی کاهش واریانس مؤثر عمل می کند و از نیاز به نمونه های شیب تصادفی اضافی در هر زمان بندی جلوگیری می کند.آزمایشات مربوط به بهینه سازی هایپرپارامتر آنلاین و یادگیری متا ، عملکرد برتر ، کارآیی و سازگاری الگوریتم های مبتنی بر Bregman ما را در مقایسه با معیارهای ایجاد شده بصورت آنلاین و آفلاین نشان می دهد.