مقاله بهینه سازی دوسطحی مبتنی بر گرادیان برای رگرسیون ریج چند ضلعی از طریق محاسبه دیفرانسیل ماتریس

چکیده

Common regularization algorithms for linear regression, such as LASSO and Ridge regression, rely on a regularization hyperparameter that balances the tradeoff between minimizing the fitting error and the norm of the learned model coefficients. As this hyperparameter is scalar, it can be easily selected via random or grid search optimizing a cross-validation criterion. However, using a scalar hyperparameter limits the algorithm’s flexibility and potential for better generalization. In this paper, we address the problem of linear regression with l2-regularization, where a different regularization hyperparameter is associated with each input variable. We optimize these hyperparameters using a gradient-based approach, wherein the gradient of a cross-validation criterion with respect to the regularization hyperparameters is computed analytically through matrix differential calculus. Additionally, we introduce two strategies tailored for sparse model learning problems aiming at reducing the risk of overfitting to the validation data. Numerical examples demonstrate that our multi-hyperparameter regularization approach outperforms LASSO, Ridge, and Elastic Net regression. Moreover, the analytical computation of the gradient proves to be more efficient in terms of computational time compared to automatic differentiation, especially when handling a large number of input variables. Application to the identification of over-parameterized Linear Parameter-Varying models is also presented.

چکیده به فارسی (ترجمه ماشینی)

الگوریتم های منظم سازی مشترک برای رگرسیون خطی ، مانند رگرسیون لاسو و ریج ، به یکپرپارامتر تنظیم کننده متکی هستند که باعث ایجاد تجارت بین به حداقل رساندن خطای اتصالات و هنجار ضرایب مدل آموخته می شود.از آنجا که این هیپرپارامتر مقیاس پذیر است ، می توان آن را به راحتی از طریق جستجوی تصادفی یا شبکه بهینه سازی یک معیار اعتبار سنجی متقابل انتخاب کرد.با این حال ، با استفاده از یک هیپرپارامتر مقیاس ، انعطاف پذیری و پتانسیل الگوریتم را برای تعمیم بهتر محدود می کند.در این مقاله ، ما به مشکل رگرسیون خطی با تنظیم L2 می پردازیم ، جایی که یکپرپارامتر تنظیم متفاوت با هر متغیر ورودی همراه است.ما این هاپرپارامترها را با استفاده از یک رویکرد مبتنی بر گرادیان بهینه می کنیم ، که در آن شیب یک معیار اعتبار سنجی متقابل با توجه به HyperParameters منظم سازی به صورت تحلیلی از طریق حساب دیفرانسیل ماتریس محاسبه می شود.علاوه بر این ، ما دو استراتژی متناسب با مشکلات یادگیری مدل پراکنده با هدف کاهش خطر افزایش بیش از حد به داده های اعتبار سنجی معرفی می کنیم.مثالهای عددی نشان می دهد که رویکرد منظم سازی چند هیپرپارامتر ما از رگرسیون خالص لاسو ، ریج و الاستیک بهتر است.علاوه بر این ، محاسبات تحلیلی شیب از نظر زمان محاسباتی در مقایسه با تمایز خودکار ، به ویژه هنگام رسیدگی به تعداد زیادی از متغیرهای ورودی ، از نظر زمان محاسباتی کارآمدتر است.کاربرد برای شناسایی مدل های متغیر پارامتر خطی بیش از حد پارامتر نیز ارائه شده است.