ترجمه فارسی مقاله صافی جهت دار و روشهای شیب: همگرایی و سازگاری

چکیده

We develop new sub-optimality bounds for gradient descent (GD) that depend on the conditioning of the objective along the path of optimization, rather than on global, worst-case constants. Key to our proofs is directional smoothness, a measure of gradient variation that we use to develop upper-bounds on the objective. Minimizing these upper-bounds requires solving implicit equations to obtain a sequence of strongly adapted step-sizes; we show that these equations are straightforward to solve for convex quadratics and lead to new guarantees for two classical step-sizes. For general functions, we prove that the Polyak step-size and normalized GD obtain fast, path-dependent rates despite using no knowledge of the directional smoothness. Experiments on logistic regression show our convergence guarantees are tighter than the classical theory based on L-smoothness.

چکیده به فارسی (ترجمه ماشینی)

ما مرزهای زیر مطلوبی را برای نزول شیب (GD) ایجاد می کنیم که به تهویه هدف در مسیر بهینه سازی بستگی دارد ، نه به ثابت های جهانی و بدترین حالت.کلید اثبات ما ، صافی جهت دار است ، اندازه گیری تغییر شیب که ما برای توسعه مرزهای فوقانی در هدف استفاده می کنیم.به حداقل رساندن این محدوده های بالا نیاز به حل معادلات ضمنی برای به دست آوردن دنباله ای از اندازه های گام به گام به شدت سازگار دارد.ما نشان می دهیم که این معادلات ساده برای حل چهارگوشهای محدب هستند و منجر به ضمانت های جدید برای دو اندازه کلاسیک می شوند.برای کارکردهای کلی ، ما ثابت می کنیم که GD به صورت گام به گام Polyak و نرمال شده با وجود هیچ آگاهی از صافی جهت ، سرعت و وابسته به مسیر را بدست می آورد.آزمایشات مربوط به رگرسیون لجستیک نشان می دهد که ضمانت های همگرایی ما محکم تر از تئوری کلاسیک بر اساس Smoothness است.