مقاله نزول بهینه محلی برای زمان بندی اندازه گام دینامیک

چکیده

We introduce a novel dynamic learning-rate scheduling scheme grounded in theory with the goal of simplifying the manual and time-consuming tuning of schedules in practice. Our approach is based on estimating the locally-optimal stepsize, guaranteeing maximal descent in the direction of the stochastic gradient of the current step. We first establish theoretical convergence bounds for our method within the context of smooth non-convex stochastic optimization, matching state-of-the-art bounds while only assuming knowledge of the smoothness parameter. We then present a practical implementation of our algorithm and conduct systematic experiments across diverse datasets and optimization algorithms, comparing our scheme with existing state-of-the-art learning-rate schedulers. Our findings indicate that our method needs minimal tuning when compared to existing approaches, removing the need for auxiliary manual schedules and warm-up phases and achieving comparable performance with drastically reduced parameter tuning.

چکیده به فارسی (ترجمه ماشینی)

ما یک طرح برنامه ریزی با نرخ یادگیری پویا جدید را که در تئوری مبتنی بر هدف قرار دادن تنظیم دستی و وقت گیر برنامه ها در عمل است ، معرفی می کنیم.رویکرد ما مبتنی بر تخمین قدم های بهینه محلی است و حداکثر نزول را در جهت شیب تصادفی مرحله فعلی تضمین می کند.ما ابتدا مرزهای همگرایی نظری را برای روش خود در چارچوب بهینه سازی تصادفی غیر کنفکس صاف ، مطابق با مرزهای پیشرفته و در عین حال که فقط دانش پارامتر صافی را فرض می کنیم ، ایجاد می کنیم.سپس ما یک اجرای عملی از الگوریتم خود را ارائه می دهیم و آزمایش های سیستماتیک را در مجموعه داده های متنوع و الگوریتم های بهینه سازی انجام می دهیم ، و طرح خود را با برنامه های پیشرفته یادگیری پیشرفته در مقایسه می کنیم.یافته های ما نشان می دهد که روش ما در مقایسه با رویکردهای موجود ، نیاز به تنظیم حداقل دارد ، نیاز به برنامه های دستی کمکی و مراحل گرم کردن و دستیابی به عملکرد قابل مقایسه با تنظیم پارامتر به شدت کاهش یافته است.