ترجمه فارسی مقاله بدون نیاز به نرخ یادگیری: معرفی SALSA — تطبیق جستجوی خط آرمیجو پایدار

چکیده

In recent studies, line search methods have been demonstrated to significantly enhance the performance of conventional stochastic gradient descent techniques across various datasets and architectures, while making an otherwise critical choice of learning rate schedule superfluous. In this paper, we identify problems of current state-of-the-art of line search methods, propose enhancements, and rigorously assess their effectiveness. Furthermore, we evaluate these methods on orders of magnitude larger datasets and more complex data domains than previously done. More specifically, we enhance the Armijo line search method by speeding up its computation and incorporating a momentum term into the Armijo criterion, making it better suited for stochastic mini-batching. Our optimization approach outperforms both the previous Armijo implementation and a tuned learning rate schedule for the Adam and SGD optimizers. Our evaluation covers a diverse range of architectures, such as Transformers, CNNs, and MLPs, as well as data domains, including NLP and image data. Our work is publicly available as a Python package, which provides a simple Pytorch optimizer.

چکیده به فارسی (ترجمه ماشینی)

در مطالعات اخیر ، روشهای جستجوی خط نشان داده شده است که به طور قابل توجهی عملکرد تکنیک های نزول شیب تصادفی معمولی را در مجموعه داده ها و معماری های مختلف افزایش می دهد ، در حالی که انتخاب دیگری مهم از برنامه نرخ یادگیری اضافی است.در این مقاله ، ما مشکلات پیشرفته فعلی روشهای جستجوی خط را مشخص می کنیم ، پیشرفت ها را پیشنهاد می کنیم و به طور دقیق اثربخشی آنها را ارزیابی می کنیم.علاوه بر این ، ما این روش ها را به ترتیب مجموعه داده های بزرگتر و دامنه های داده پیچیده تر از گذشته ارزیابی می کنیم.به طور خاص ، ما با سرعت بخشیدن به محاسبه آن و درج یک اصطلاح حرکت در معیار آرمیوجو ، روش جستجوی خط Armijo را تقویت می کنیم و باعث می شود که آن را برای مینی دسته بندی تصادفی بهتر کند.رویکرد بهینه سازی ما هم از اجرای قبلی Armijo و هم یک برنامه نرخ یادگیری تنظیم شده برای بهینه سازهای ADAD و SGD بهتر است.ارزیابی ما طیف متنوعی از معماری ها ، مانند ترانسفورماتورها ، CNN ها و MLP ها و همچنین حوزه های داده ، از جمله NLP و داده های تصویر را در بر می گیرد.کار ما به صورت عمومی به عنوان یک بسته پایتون در دسترس است ، که یک بهینه ساز ساده Pytorch را فراهم می کند.