ترجمه فارسی مقاله نزول مختصات ترکیبی برای یادگیری کارآمد شبکه عصبی با استفاده از جستجوی خط و نزول گرادیان

چکیده

This paper presents a novel coordinate descent algorithm leveraging a combination of one-directional line search and gradient information for parameter updates for a squared error loss function. Each parameter undergoes updates determined by either the line search or gradient method, contingent upon whether the modulus of the gradient of the loss with respect to that parameter surpasses a predefined threshold. Notably, a larger threshold value enhances algorithmic efficiency. Despite the potentially slower nature of the line search method relative to gradient descent, its parallelizability facilitates computational time reduction. Experimental validation conducted on a 2-layer Rectified Linear Unit network with synthetic data elucidates the impact of hyperparameters on convergence rates and computational efficiency.

چکیده به فارسی (ترجمه ماشینی)

در این مقاله یک الگوریتم نزول هماهنگی جدید که از ترکیبی از جستجوی خط یک جهته و اطلاعات شیب برای به روزرسانی پارامترها برای یک عملکرد از دست دادن خطای مربع استفاده می کند ، ارائه می دهد.هر پارامتر به روزرسانی های تعیین شده با استفاده از روش جستجوی خط یا روش شیب ، مشروط بر اینکه آیا مدول شیب ضرر با توجه به آن پارامتر از آستانه از پیش تعریف شده پیشی می گیرد.نکته قابل توجه ، یک مقدار آستانه بزرگتر باعث افزایش بازده الگوریتمی می شود.با وجود ماهیت بالقوه کندتر روش جستجوی خط نسبت به نزول شیب ، قابلیت موازی آن کاهش زمان محاسباتی را تسهیل می کند.اعتبار سنجی تجربی که بر روی یک شبکه واحد خطی اصلاح شده 2 لایه با داده های مصنوعی انجام می شود ، تأثیر هایپرپارامترها را بر میزان همگرایی و راندمان محاسباتی روشن می کند.