مقاله تجزیه و تحلیل خطای L_2 مورد انتظار تخمین شبکه عصبی عمیق بیش از حد پارامتر که توسط گرادیان نزولی و بدون نرمال سازی آموخته شده است

چکیده

Recent results show that estimates defined by over-parametrized deep neural networks learned by applying gradient descent to a regularized empirical $L_2$ risk are universally consistent and achieve good rates of convergence. In this paper, we show that the regularization term is not necessary to obtain similar results. In the case of a suitably chosen initialization of the network, a suitable number of gradient descent steps, and a suitable step size we show that an estimate without a regularization term is universally consistent for bounded predictor variables. Additionally, we show that if the regression function is Hölder smooth with Hölder exponent $1/2 \leq p \leq 1$, the $L_2$ error converges to zero with a convergence rate of approximately $n^{-1/(1+d)}$. Furthermore, in case of an interaction model, where the regression function consists of a sum of Hölder smooth functions with $d^*$ components, a rate of convergence is derived which does not depend on the input dimension $d$.

چکیده به فارسی (ترجمه ماشینی)

نتایج اخیر نشان می دهد که برآوردهای تعریف شده توسط شبکه های عصبی عمیق بیش از حد پارامتر که با استفاده از نزول شیب به یک ریسک تجربی منظم $ L_2 $ آموخته شده اند ، جهانی هستند و به نرخ خوبی از همگرایی می رسند.در این مقاله ، ما نشان می دهیم که اصطلاح منظم برای به دست آوردن نتایج مشابه لازم نیست.در مورد اولیه سازی مناسب از شبکه ، تعداد مناسبی از مراحل نزولی شیب و اندازه گام مناسب ما نشان می دهیم که یک برآورد بدون یک اصطلاح منظم برای متغیرهای پیش بینی کننده محدود سازگار است.علاوه بر این ، ما نشان می دهیم که اگر عملکرد رگرسیون با Hölder Smooth با Hölder Exponent 1/2 Leq P Leq 1 $ صاف باشد ، خطای $ L_2 $ با نرخ همگرایی تقریبا $ n^{-1/(1+ به صفر می رسد.د)} $.علاوه بر این ، در صورت وجود یک مدل تعامل ، که در آن عملکرد رگرسیون شامل مجموعه ای از توابع صاف Hölder با اجزای $ D^*$ است ، نرخ همگرایی حاصل می شود که به بعد ورودی $ D $ بستگی ندارد.