ترجمه فارسی مقاله پر کردن شکاف بین تقریب و یادگیری از طریق تقریب بهینه توسط ReLU MLPهای حداکثر نظم

چکیده

The foundations of deep learning are supported by the seemingly opposing perspectives of approximation or learning theory. The former advocates for large/expressive models that need not generalize, while the latter considers classes that generalize but may be too small/constrained to be universal approximators. Motivated by real-world deep learning implementations that are both expressive and statistically reliable, we ask: “Is there a class of neural networks that is both large enough to be universal but structured enough to generalize?” This paper constructively provides a positive answer to this question by identifying a highly structured class of ReLU multilayer perceptions (MLPs), which are optimal function approximators and are statistically well-behaved. We show that any $L$-Lipschitz function from $[0,1]^d$ to $[-n,n]$ can be approximated to a uniform $Ld/(2n)$ error on $[0,1]^d$ with a sparsely connected $L$-Lipschitz ReLU MLP of width $\mathcal{O}(dn^d)$, depth $\mathcal{O}(\log(d))$, with $\mathcal{O}(dn^d)$ nonzero parameters, and whose weights and biases take values in $\{0,\pm 1/2\}$ except in the first and last layers which instead have magnitude at-most $n$. Unlike previously known “large” classes of universal ReLU MLPs, the empirical Rademacher complexity of our class remains bounded even when its depth and width become arbitrarily large. Further, our class of MLPs achieves a near-optimal sample complexity of $\mathcal{O}(\log(N)/\sqrt{N})$ when given $N$ i.i.d. normalized sub-Gaussian training samples. We achieve this by avoiding the standard approach to constructing optimal ReLU approximators, which sacrifices regularity by relying on small spikes. Instead, we introduce a new construction that perfectly fits together linear pieces using Kuhn triangulations and avoids these small spikes.

چکیده به فارسی (ترجمه ماشینی)

مبانی یادگیری عمیق توسط دیدگاههای به ظاهر متضاد از تقریب یا نظریه یادگیری پشتیبانی می شود.طرفداران سابق برای مدلهای بزرگ/بیانی که نیازی به تعمیم ندارند ، در حالی که دومی کلاس هایی را که تعمیم می یابد در نظر می گیرد اما ممکن است خیلی کوچک/محدود باشد تا تقریبی جهانی باشد.با انگیزه از پیاده سازی های یادگیری عمیق در دنیای واقعی که هم بیان و هم از نظر آماری قابل اعتماد هستند ، می پرسیم: “آیا یک کلاس از شبکه های عصبی وجود دارد که هم به اندازه کافی بزرگ باشد تا جهانی باشد اما به اندازه کافی برای تعمیم باشد؟”این مقاله به طور سازنده با شناسایی یک کلاس بسیار ساخت یافته از ادراکات چند لایه Relu (MLP) ، که تقریباً عملکردی بهینه هستند و از نظر آماری به خوبی رفتار می کنند ، پاسخ مثبتی برای این سؤال ارائه می دهد.ما نشان می دهیم که هر $ l $ -lipschitz از $ [0،1]^d $ به $ [-n ، n] $ می تواند با خطای یکنواخت $ ld/(2n) $ در $ [0،1] تقریب شود.^d $ با یک $ l $ l $ -lipschitz relu mlp از عرض $ \ mathcal {o} (dn^d) $ ، عمق $ \ mathcal {o} (\ log (d)) $ ، با $ \ mathcal {O} (dn^d) $ parameters $ nonzero ، و وزن و تعصب آنها مقادیر را در $ \ {0 ، \ PM 1/2 \} $ به جز در لایه های اول و آخر که در عوض دارای اندازه در $ n $ هستند ، می گیرند.بر خلاف کلاسهای “بزرگ” که قبلاً شناخته شده بود از MLP های جهانی RELU ، پیچیدگی تجربی Rademacher کلاس ما حتی در شرایطی که عمق و عرض آن به طور خودسرانه بزرگ شود ، محدود می شود.علاوه بر این ، کلاس MLP ما به یک پیچیدگی نمونه تقریباً بهینه از $ \ mathcal {o} (\ log (n)/\ sqrt {n}) دست می یابد.نمونه های آموزش زیر گاوسی نرمال شده.ما با اجتناب از رویکرد استاندارد برای ساخت تقریبی بهینه RELU ، که با تکیه بر سنبله های کوچک ، قربانی می کند ، به این هدف می رسیم.درعوض ، ما ساخت و ساز جدیدی را معرفی می کنیم که کاملاً با استفاده از مثلث های کوهن ، قطعات خطی را در کنار هم قرار می دهد و از این سنبله های کوچک جلوگیری می کند.