ترجمه فارسی مقاله یادگیری بیز-بهینه یک شبکه عصبی با پهنای گسترده از نمونه‌های درجه دوم

چکیده

We consider the problem of learning a target function corresponding to a single hidden layer neural network, with a quadratic activation function after the first layer, and random weights. We consider the asymptotic limit where the input dimension and the network width are proportionally large. Recent work [Cui & al ’23] established that linear regression provides Bayes-optimal test error to learn such a function when the number of available samples is only linear in the dimension. That work stressed the open challenge of theoretically analyzing the optimal test error in the more interesting regime where the number of samples is quadratic in the dimension. In this paper, we solve this challenge for quadratic activations and derive a closed-form expression for the Bayes-optimal test error. We also provide an algorithm, that we call GAMP-RIE, which combines approximate message passing with rotationally invariant matrix denoising, and that asymptotically achieves the optimal performance. Technically, our result is enabled by establishing a link with recent works on optimal denoising of extensive-rank matrices and on the ellipsoid fitting problem. We further show empirically that, in the absence of noise, randomly-initialized gradient descent seems to sample the space of weights, leading to zero training loss, and averaging over initialization leads to a test error equal to the Bayes-optimal one.

چکیده به فارسی (ترجمه ماشینی)

ما مشکل یادگیری یک تابع هدف را متناسب با یک شبکه عصبی لایه پنهان ، با یک عملکرد فعال سازی درجه دوم بعد از لایه اول و وزن های تصادفی در نظر می گیریم.ما حد مجانبی را در نظر می گیریم که در آن ابعاد ورودی و عرض شبکه به طور متناسب بزرگ باشد.کار اخیر [Cui & al ’23] ثابت کرد که رگرسیون خطی خطای تست بهینه بیز را برای یادگیری چنین عملکردی فراهم می کند که تعداد نمونه های موجود فقط در بعد خطی باشد.این کار بر چالش باز تجزیه و تحلیل نظری خطای تست بهینه در رژیم جالب تر که تعداد نمونه ها در بعد درجه دوم است ، تأکید کرد.در این مقاله ، ما این چالش را برای فعال سازی های درجه دوم حل می کنیم و برای خطای تست بهینه بیز-بهینه یک بیان بسته بندی می کنیم.ما همچنین یک الگوریتم را ارائه می دهیم ، که ما آن را GAMP-RIE می نامیم ، که ترکیبی از پیام تقریبی با ماتریس چرخشی متمایز است و به صورت مجانبی به عملکرد بهینه می رسد.از نظر فنی ، نتیجه ما با ایجاد پیوندی با آثار اخیر در مورد نادیده گرفتن بهینه ماتریس های گسترده و بر روی مشکل اتصالات بیضوی فعال می شود.ما همچنین به صورت تجربی نشان می دهیم که ، در صورت عدم سر و صدا ، به نظر می رسد که نزول شیب به طور تصادفی از فضای وزنه ها نمونه می گیرد و منجر به از دست دادن آموزش صفر می شود و میانگین آن بیش از اولیه سازی منجر به یک خطای آزمایشی برابر با بیزاسیون می شود.