ترجمه فارسی مقاله بهینه‌سازی بدون گرادیان از طریق انتگرال‌گیری

چکیده

In this paper we propose a novel, general purpose, algorithm to optimize functions $lcolon mathbb{R}^d rightarrow mathbb{R}$ not assumed to be convex or differentiable or even continuous. The main idea is to sequentially fit a sequence of parametric probability densities, possessing a concentration property, to $l$ using a Bayesian update followed by a reprojection back onto the chosen parametric sequence. Remarkably, with the sequence chosen to be from the exponential family, reprojection essentially boils down to the computation of expectations. Our algorithm therefore lends itself to Monte Carlo approximation, ranging from plain to Sequential Monte Carlo (SMC) methods. The algorithm is therefore particularly simple to implement and we illustrate performance on a challenging Machine Learning classification problem. Our methodology naturally extends to the scenario where only noisy measurements of $l$ are available and retains ease of implementation and performance. At a theoretical level we establish, in a fairly general scenario, that our framework can be viewed as implicitly implementing a time inhomogeneous gradient descent algorithm on a sequence of smoothed approximations of $l$. This opens the door to establishing convergence of the algorithm and provide theoretical guarantees. Along the way, we establish new results for inhomogeneous gradient descent algorithms of independent interest.

چکیده به فارسی (ترجمه ماشینی)

در این مقاله ما یک الگوریتم رمان ، هدف کلی ، برای بهینه سازی توابع $ l colon mathbb {r}^d rightarrow mathbb {r} $ فرض نمی شود که محدب یا متفاوت یا حتی مداوم باشد.ایده اصلی این است که به طور متوالی دنباله ای از تراکم احتمال پارامتری ، داشتن یک خاصیت غلظت ، به $ L $ با استفاده از یک به روزرسانی بیزی و به دنبال آن یک بازگرداندن دوباره بر روی دنباله پارامتری انتخاب شده ، متناسب باشد.نکته قابل توجه ، با دنباله ای که از خانواده نمایی انتخاب شده است ، بازگرداندن اساساً به محاسبه انتظارات می رسد.بنابراین الگوریتم ما خود را به تقریب مونت کارلو وام می دهد ، از روشهای ساده تا پی در پی مونت کارلو (SMC).بنابراین الگوریتم به ویژه برای اجرای آن ساده است و ما عملکرد را در مورد یک مشکل طبقه بندی یادگیری ماشین چالش برانگیز نشان می دهیم.روش ما به طور طبیعی به سناریویی گسترش می یابد که فقط اندازه گیری های پر سر و صدا از $ $ در دسترس است و سهولت اجرای و عملکرد را حفظ می کند.در یک سطح نظری ، در یک سناریوی نسبتاً کلی ، ایجاد می کنیم که چارچوب ما را می توان به طور ضمنی اجرای یک الگوریتم نزول شیب ناهمگن زمان بر روی دنباله ای از تقریبی صاف L $ $ مشاهده کرد.این باعث ایجاد همگرایی الگوریتم و ارائه ضمانت های نظری می شود.در طول راه ، ما نتایج جدیدی را برای الگوریتم های نزول شیب ناهمگن با علاقه مستقل ایجاد می کنیم.