ترجمه فارسی مقاله نرخ همگرایی برای بهینه‌ساز Adam

چکیده

Stochastic gradient descent (SGD) optimization methods are nowadays the method of choice for the training of deep neural networks (DNNs) in artificial intelligence systems. In practically relevant training problems, usually not the plain vanilla standard SGD method is the employed optimization scheme but instead suitably accelerated and adaptive SGD optimization methods are applied. As of today, maybe the most popular variant of such accelerated and adaptive SGD optimization methods is the famous Adam optimizer proposed by Kingma & Ba in 2014. Despite the popularity of the Adam optimizer in implementations, it remained an open problem of research to provide a convergence analysis for the Adam optimizer even in the situation of simple quadratic stochastic optimization problems where the objective function (the function one intends to minimize) is strongly convex. In this work we solve this problem by establishing optimal convergence rates for the Adam optimizer for a large class of stochastic optimization problems, in particular, covering simple quadratic stochastic optimization problems. The key ingredient of our convergence analysis is a new vector field function which we propose to refer to as the Adam vector field. This Adam vector field accurately describes the macroscopic behaviour of the Adam optimization process but differs from the negative gradient of the objective function (the function we intend to minimize) of the considered stochastic optimization problem. In particular, our convergence analysis reveals that the Adam optimizer does typically not converge to critical points of the objective function (zeros of the gradient of the objective function) of the considered optimization problem but converges with rates to zeros of this Adam vector field.

چکیده به فارسی (ترجمه ماشینی)

روشهای بهینه سازی شیب تصادفی (SGD) امروزه روش انتخاب برای آموزش شبکه های عصبی عمیق (DNN) در سیستم های هوش مصنوعی است.در مشکلات آموزشی عملاً مرتبط ، معمولاً روش SGD استاندارد وانیلی ساده طرح بهینه سازی استفاده شده است ، اما در عوض روشهای بهینه سازی SGD شتاب و سازگار مناسب است.از امروز ، شاید محبوب ترین نوع چنین روشهای بهینه سازی SGD شتاب و سازگار ، بهینه ساز معروف آدام باشد که توسط Kingma & BA در سال 2014 پیشنهاد شده است. با وجود محبوبیت بهینه ساز آدام در پیاده سازی ها ، این یک مشکل باز برای ارائه یک تحقیق استتجزیه و تحلیل همگرایی برای بهینه ساز آدم حتی در شرایط مشکلات بهینه سازی تصادفی درجه دوم که در آن عملکرد هدف (عملکردی که قصد به حداقل رساندن آن دارد) به شدت محدب است.در این کار ما این مشکل را با ایجاد نرخ همگرایی بهینه برای بهینه ساز آدام برای یک کلاس بزرگ از مشکلات بهینه سازی تصادفی ، به ویژه ، پوشش مشکلات بهینه سازی تصادفی درجه دوم ساده ، حل می کنیم.ماده اصلی تجزیه و تحلیل همگرایی ما یک عملکرد میدان بردار جدید است که ما پیشنهاد می کنیم از آن به عنوان قسمت بردار آدم یاد کنیم.این زمینه وکتور ADAM به طور دقیق رفتار ماکروسکوپی فرآیند بهینه سازی ADAM را توصیف می کند اما با شیب منفی عملکرد هدف (عملکردی که قصد داریم به حداقل برسیم) متفاوت است.به طور خاص ، تجزیه و تحلیل همگرایی ما نشان می دهد که بهینه ساز ADAM به طور معمول به نقاط مهم عملکرد عینی (صفرهای شیب عملکرد هدف) از مشکل بهینه سازی در نظر گرفته نمی شود اما با نرخ به صفرهای این قسمت وکتور آدم همگرا می شود.