ترجمه فارسی مقاله توانایی تعمیم شبکه باقیمانده گسترده با یک عامل مقیاس مناسب را بهبود بخشید

چکیده

Deep Residual Neural Networks (ResNets) have demonstrated remarkable success across a wide range of real-world applications. In this paper, we identify a suitable scaling factor (denoted by $α$) on the residual branch of deep wide ResNets to achieve good generalization ability. We show that if $α$ is a constant, the class of functions induced by Residual Neural Tangent Kernel (RNTK) is asymptotically not learnable, as the depth goes to infinity. We also highlight a surprising phenomenon: even if we allow $α$ to decrease with increasing depth $L$, the degeneration phenomenon may still occur. However, when $α$ decreases rapidly with $L$, the kernel regression with deep RNTK with early stopping can achieve the minimax rate provided that the target regression function falls in the reproducing kernel Hilbert space associated with the infinite-depth RNTK. Our simulation studies on synthetic data and real classification tasks such as MNIST, CIFAR10 and CIFAR100 support our theoretical criteria for choosing $α$.

چکیده به فارسی (ترجمه ماشینی)

شبکه های عصبی باقیمانده عمیق (RESNETS) موفقیت چشمگیری را در طیف گسترده ای از برنامه های دنیای واقعی نشان داده اند.در این مقاله ، ما یک عامل مقیاس بندی مناسب (مشخص شده توسط $ α $) را در شاخه باقیمانده از Resnets عمیق برای دستیابی به توانایی تعمیم خوب شناسایی می کنیم.ما نشان می دهیم که اگر $ α $ ثابت باشد ، کلاس توابع ناشی از هسته مماس عصبی باقیمانده (RNTK) به صورت مجانبی قابل یادگیری نیست ، زیرا عمق به بی نهایت می رود.ما همچنین یک پدیده غافلگیرکننده را برجسته می کنیم: حتی اگر با افزایش عمق $ L $ ، α $ $ کاهش یابد ، ممکن است پدیده تخریب هنوز هم رخ دهد.با این حال ، هنگامی که α α $ با $ L $ به سرعت کاهش می یابد ، رگرسیون هسته با RNTK عمیق با توقف زود هنگام می تواند به میزان حداقل دست پیدا کند به شرط اینکه عملکرد رگرسیون هدف در فضای تولید مثل هیلبرت مرتبط با RNTK عمق بی نهایت قرار می گیرد.مطالعات شبیه سازی ما در مورد داده های مصنوعی و وظایف طبقه بندی واقعی مانند MNIST ، CIFAR10 و CIFAR100 از معیارهای نظری ما برای انتخاب $ α $ پشتیبانی می کند.