مقاله نوسانات وزن در شبکه های عصبی (عمیق) خطی و مشتق رابطه یکنواخت و واریانس معکوس

چکیده

We investigate the stationary (late-time) training regime of single- and two-layer linear neural networks within the continuum limit of stochastic gradient descent (SGD) for synthetic Gaussian data. In the case of a single-layer network in the weakly oversampled regime, the spectrum of the noise covariance matrix deviates notably from the Hessian, which can be attributed to the broken detailed balance of SGD dynamics. The weight fluctuations are in this case generally anisotropic, but experience an isotropic loss. For a two-layer network, we obtain the stochastic dynamics of the weights in each layer and analyze the associated stationary covariances. We identify the inter-layer coupling as a new source of anisotropy for the weight fluctuations. In contrast to the single-layer case, the weight fluctuations experience an anisotropic loss, the flatness of which is inversely related to the fluctuation variance. We thereby provide an analytical derivation of the recently observed inverse variance-flatness relation in a deep linear network model.

چکیده به فارسی (ترجمه ماشینی)

ما رژیم آموزشی ثابت (اواخر زمان) شبکه های عصبی یک لایه و دو لایه را در محدوده پیوسته نزول شیب تصادفی (SGD) برای داده های گاوسی مصنوعی بررسی می کنیم.در مورد یک شبکه تک لایه در رژیم ضعیف بیش از حد ، طیف ماتریس کواریانس نویز به ویژه از هسیان منحرف می شود ، که می تواند به تعادل تفصیلی شکسته پویایی SGD نسبت داده شود.نوسانات وزن در این حالت به طور کلی ناهمسانگرد است ، اما از دست دادن ایزوتروپیک را تجربه می کند.برای یک شبکه دو لایه ، ما پویایی تصادفی از وزنه ها را در هر لایه به دست می آوریم و کواریان های ثابت مرتبط را تجزیه و تحلیل می کنیم.ما اتصال بین لایه را به عنوان منبع جدیدی از ناهمسانگردی برای نوسانات وزن شناسایی می کنیم.بر خلاف مورد تک لایه ، نوسانات وزن از دست دادن ناهمسانگرد را تجربه می کند ، که صاف بودن آن به طور معکوس با واریانس نوسان مرتبط است.ما از این طریق یک مشتق تحلیلی از رابطه واریانس نقص معکوس اخیراً مشاهده شده در یک مدل شبکه خطی عمیق ارائه می دهیم.