مقاله نوسانات وزن در شبکه های عصبی (عمیق) خطی و مشتق رابطه یکنواخت و واریانس معکوس
| عنوان مقاله به انگلیسی | Weight fluctuations in (deep) linear neural networks and a derivation of the inverse-variance flatness relation |
| عنوان مقاله به فارسی | مقاله نوسانات وزن در شبکه های عصبی (عمیق) خطی و مشتق رابطه یکنواخت و واریانس معکوس |
| نویسندگان | Markus Gross, Arne P. Raulf, Christoph Räth |
| زبان مقاله | انگلیسی |
| فرمت مقاله: | |
| تعداد صفحات | 0 |
| دسته بندی موضوعات | Machine Learning,Disordered Systems and Neural Networks,Statistical Mechanics,یادگیری ماشین , سیستم های بی نظم و شبکه های عصبی , مکانیک آماری , |
| توضیحات | Submitted 23 November, 2023; originally announced November 2023. , Comments: 25 pages, 7 figures |
| توضیحات به فارسی | ارسال شده 23 نوامبر 2023 ؛در ابتدا نوامبر 2023 اعلام شد ، نظرات: 25 صفحه ، 7 شکل |
چکیده
We investigate the stationary (late-time) training regime of single- and two-layer linear neural networks within the continuum limit of stochastic gradient descent (SGD) for synthetic Gaussian data. In the case of a single-layer network in the weakly oversampled regime, the spectrum of the noise covariance matrix deviates notably from the Hessian, which can be attributed to the broken detailed balance of SGD dynamics. The weight fluctuations are in this case generally anisotropic, but experience an isotropic loss. For a two-layer network, we obtain the stochastic dynamics of the weights in each layer and analyze the associated stationary covariances. We identify the inter-layer coupling as a new source of anisotropy for the weight fluctuations. In contrast to the single-layer case, the weight fluctuations experience an anisotropic loss, the flatness of which is inversely related to the fluctuation variance. We thereby provide an analytical derivation of the recently observed inverse variance-flatness relation in a deep linear network model.
چکیده به فارسی (ترجمه ماشینی)
ما رژیم آموزشی ثابت (اواخر زمان) شبکه های عصبی یک لایه و دو لایه را در محدوده پیوسته نزول شیب تصادفی (SGD) برای داده های گاوسی مصنوعی بررسی می کنیم.در مورد یک شبکه تک لایه در رژیم ضعیف بیش از حد ، طیف ماتریس کواریانس نویز به ویژه از هسیان منحرف می شود ، که می تواند به تعادل تفصیلی شکسته پویایی SGD نسبت داده شود.نوسانات وزن در این حالت به طور کلی ناهمسانگرد است ، اما از دست دادن ایزوتروپیک را تجربه می کند.برای یک شبکه دو لایه ، ما پویایی تصادفی از وزنه ها را در هر لایه به دست می آوریم و کواریان های ثابت مرتبط را تجزیه و تحلیل می کنیم.ما اتصال بین لایه را به عنوان منبع جدیدی از ناهمسانگردی برای نوسانات وزن شناسایی می کنیم.بر خلاف مورد تک لایه ، نوسانات وزن از دست دادن ناهمسانگرد را تجربه می کند ، که صاف بودن آن به طور معکوس با واریانس نوسان مرتبط است.ما از این طریق یک مشتق تحلیلی از رابطه واریانس نقص معکوس اخیراً مشاهده شده در یک مدل شبکه خطی عمیق ارائه می دهیم.📚 محتوای این محصول آموزشی (پکیج کامل)
علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیقتر و تسلط کامل بر مباحث مجموعهای از کتابهای آموزشی نیز ارائه میشود.
-
کتاب صدها نکته فارسی (خودمونی) – نسخه PDF — زبان ساده و کاربردی
مشاهده نمونه نسخه نکات ساده -
کتاب صدها نکته رسمی فارسی – نسخه PDF — نگارش استاندارد و علمی
مشاهده نمونه نسخه نکات رسمی -
کتاب صدها پرسش و پاسخ تشریحی – نسخه PDF
— هر سؤال همراه با پاسخ کامل برای درک عمیق مفاهیم
مشاهده نمونه نسخه پرسش و پاسخ -
کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع -
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
- این محصول به صورت فایل دانلودی کامل ارائه میشود.
- توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
- دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
- برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
- اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی:
واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248
تلگرام: @ma_limbs
نظرات
هنوز نظری ثبت نشده است.
وارد شوید تا نظر ثبت کنید.