ترجمه فارسی مقاله شبکه های عصبی بر روی داده های کم پیچیدگی تعمیم می دهند

چکیده

We show that feedforward neural networks with ReLU activation generalize on low complexity data, suitably defined. Given i.i.d. data generated from a simple programming language, the minimum description length (MDL) feedforward neural network which interpolates the data generalizes with high probability. We define this simple programming language, along with a notion of description length of such networks. We provide several examples on basic computational tasks, such as checking primality of a natural number, and more. For primality testing, our theorem shows the following. Suppose that we draw an i.i.d. sample of $Θ(N^δ\ln N)$ numbers uniformly at random from $1$ to $N$, where $δ\in (0,1)$. For each number $x_i$, let $y_i = 1$ if $x_i$ is a prime and $0$ if it is not. Then with high probability, the MDL network fitted to this data accurately answers whether a newly drawn number between $1$ and $N$ is a prime or not, with test error $\leq O(N^{-δ})$. Note that the network is not designed to detect primes; minimum description learning discovers a network which does so.

چکیده به فارسی (ترجمه ماشینی)

ما نشان می دهیم که شبکه های عصبی تغذیه ای با فعال سازی RELU در داده های پیچیدگی کم ، به طور مناسب تعریف می شوند.با توجه به I.I.D.داده های حاصل از یک زبان برنامه نویسی ساده ، حداقل طول توضیحات (MDL) شبکه عصبی به سمت بالا که داده ها را با احتمال زیاد تعمیم می دهد.ما این زبان برنامه نویسی ساده را به همراه مفهوم طول توضیحات چنین شبکه هایی تعریف می کنیم.ما چندین نمونه در مورد کارهای اساسی محاسباتی ، مانند بررسی مقدمات یک عدد طبیعی و موارد دیگر ارائه می دهیم.برای آزمایش اولیه ، قضیه ما موارد زیر را نشان می دهد.فرض کنید که ما یک I.I.D را ترسیم می کنیم.نمونه $ θ (n^δ \ ln n) $ به طور تصادفی از 1 $ به $ n $ ، که در آن $ δ \ in (0،1) $ است ، به طور تصادفی.برای هر شماره $ x_i $ ، اجازه دهید $ y_i = 1 $ اگر $ x_i $ یک نخست و 0 دلار $ در صورتی نیست.سپس با احتمال زیاد ، شبکه MDL متناسب با این داده ها به طور دقیق پاسخ می دهد که آیا یک شماره تازه کشیده شده بین 1 $ $ و $ n $ یک نخست است یا خیر ، با خطای آزمون $ \ leq o (n^{-δ}) $.توجه داشته باشید که این شبکه برای تشخیص ابتدایی طراحی نشده است.حداقل یادگیری توضیحات شبکه ای را کشف می کند که این کار را انجام می دهد.