ترجمه فارسی مقاله روش‌های مرتبه اول کاهش‌یافته واریانس برای بهینه‌سازی غیرمحدب تصادفی با محدودیت قطعی با تضمین‌های همگرایی قوی

چکیده

In this paper, we study a class of deterministically constrained stochastic optimization problems. Existing methods typically aim to find an $ε$-stochastic stationary point, where the expected violations of both constraints and first-order stationarity are within a prescribed accuracy $ε$. However, in many practical applications, it is crucial that the constraints be nearly satisfied with certainty, making such an $ε$-stochastic stationary point potentially undesirable due to the risk of significant constraint violations. To address this issue, we propose single-loop variance-reduced stochastic first-order methods, where the stochastic gradient of the stochastic component is computed using either a truncated recursive momentum scheme or a truncated Polyak momentum scheme for variance reduction, while the gradient of the deterministic component is computed exactly. Under the error bound condition with a parameter $θ\geq 1$ and other suitable assumptions, we establish that the proposed methods achieve a sample complexity and first-order operation complexity of $\widetilde O(ε^{-\max\{4, 2θ\}})$ for finding a stronger $ε$-stochastic stationary point, where the constraint violation is within $ε$ with certainty, and the expected violation of first-order stationarity is within $ε$. To the best of our knowledge, this is the first work to develop methods with provable complexity guarantees for finding an approximate stochastic stationary point of such problems that nearly satisfies all constraints with certainty.

چکیده به فارسی (ترجمه ماشینی)

در این مقاله ، ما یک کلاس از مشکلات بهینه سازی تصادفی محدود به طور قطعی را مطالعه می کنیم.روشهای موجود به طور معمول با هدف یافتن یک نقطه ثابت and $ $-$-$ ، جایی که نقض مورد انتظار هر دو محدودیت و ثابت بودن مرتبه اول در یک دقت تعیین شده $ ε $ است.با این حال ، در بسیاری از کاربردهای عملی ، بسیار مهم است که محدودیت ها تقریباً از یقین راضی باشند ، و چنین نقطه ثابت and $ $-$ را که به دلیل خطر نقض محدودیت قابل توجه ، نامطلوب است ، ایجاد می کند.برای پرداختن به این مسئله ، ما روشهای مرتبه اول مرتبه ای از واریانس تک حلقه ای را پیشنهاد می کنیم ، جایی که شیب تصادفی مؤلفه تصادفی با استفاده از یک طرح حرکت بازگشتی کوتاه یا یک طرح حرکت پلی آیک کوتاه برای کاهش واریانس محاسبه می شود ، در حالی که شیب کاهشمؤلفه قطعی دقیقاً محاسبه می شود.در شرایط خطای محدود با یک پارامتر $ θ \ geq 1 $ و سایر فرضیات مناسب ، ما ثابت می کنیم که روش های پیشنهادی به پیچیدگی نمونه و پیچیدگی عملکرد مرتبه اول $ \ widetilde o (ε^{-\ max \ {4 دست می یابیم.، 2θ \}}) $ برای پیدا کردن یک نقطه ثابت and and $-$-$ قوی تر ، جایی که نقض محدودیت در $ $ $ با اطمینان است ، و نقض مورد انتظار ثابت بودن مرتبه اول با $ ε $ است.به بهترین دانش ما ، این اولین کار برای توسعه روش هایی با تضمین های پیچیدگی قابل اثبات برای یافتن یک نقطه ثابت تصادفی تصادفی از چنین مشکلاتی است که تقریباً همه محدودیت ها را با اطمینان برآورده می کند.