ترجمه فارسی مقاله بهینه سازی نرخ یادگیری برای شبکه های عصبی عمیق با استفاده از راهزن های لیپشیتز

چکیده

Learning rate is a crucial parameter in training of neural networks. A properly tuned learning rate leads to faster training and higher test accuracy. In this paper, we propose a Lipschitz bandit-driven approach for tuning the learning rate of neural networks. The proposed approach is compared with the popular HyperOpt technique used extensively for hyperparameter optimization and the recently developed bandit-based algorithm BLiE. The results for multiple neural network architectures indicate that our method finds a better learning rate using a) fewer evaluations and b) lesser number of epochs per evaluation, when compared to both HyperOpt and BLiE. Thus, the proposed approach enables more efficient training of neural networks, leading to lower training time and lesser computational cost.

چکیده به فارسی (ترجمه ماشینی)

نرخ یادگیری یک پارامتر مهم در آموزش شبکه های عصبی است.نرخ یادگیری به درستی تنظیم شده منجر به آموزش سریعتر و دقت آزمون بالاتر می شود.در این مقاله ، ما یک رویکرد راهزن محور Lipschitz را برای تنظیم میزان یادگیری شبکه های عصبی پیشنهاد می کنیم.رویکرد پیشنهادی با تکنیک محبوب HyperOPT که به طور گسترده برای بهینه سازی هایپرپارامتر و الگوریتم مبتنی بر راهزنی اخیراً توسعه یافته مورد استفاده قرار می گیرد ، مقایسه می شود.نتایج مربوط به معماری های چند شبکه عصبی نشان می دهد که روش ما با استفاده از A) ارزیابی کمتر و ب) تعداد کمتری از دوره ها در هر ارزیابی ، در مقایسه با HyperOpt و BLIE ، میزان یادگیری بهتری پیدا می کند.بنابراین ، رویکرد پیشنهادی آموزش کارآمدتر شبکه های عصبی را امکان پذیر می کند و منجر به پایین آمدن زمان آموزش و هزینه محاسباتی کمتری می شود.