ترجمه فارسی مقاله قانون پلاستیسیته Oja بر چندین چالش آموزش شبکه های عصبی تحت محدودیت های بیولوژیکی غلبه می کند

چکیده

There is a large literature on the similarities and differences between biological neural circuits and deep artificial neural networks (DNNs). However, modern training of DNNs relies on several engineering tricks such as data batching, normalization, adaptive optimizers, and precise weight initialization. Despite their critical role in training DNNs, these engineering tricks are often overlooked when drawing parallels between biological and artificial networks, potentially due to a lack of evidence for their direct biological implementation. In this study, we show that Oja’s plasticity rule partly overcomes the need for some engineering tricks. Specifically, under difficult, but biologically realistic learning scenarios such as online learning, deep architectures, and sub-optimal weight initialization, Oja’s rule can substantially improve the performance of pure backpropagation. Our results demonstrate that simple synaptic plasticity rules can overcome challenges to learning that are typically overcome using less biologically plausible approaches when training DNNs.

چکیده به فارسی (ترجمه ماشینی)

ادبیات بزرگی در مورد شباهت ها و تفاوت های بین مدارهای عصبی بیولوژیکی و شبکه های عصبی مصنوعی عمیق (DNN) وجود دارد.با این حال ، آموزش مدرن DNNS به چندین ترفند مهندسی مانند دسته بندی داده ها ، عادی سازی ، بهینه سازی های سازگار و اولیه سازی دقیق وزن متکی است.علیرغم نقش مهم آنها در آموزش DNN ها ، این ترفندهای مهندسی اغلب هنگام ترسیم موازی بین شبکه های بیولوژیکی و مصنوعی ، به طور بالقوه به دلیل عدم وجود شواهد برای اجرای مستقیم بیولوژیکی آنها نادیده گرفته می شود.در این مطالعه ، ما نشان می دهیم که قانون انعطاف پذیری OJA تا حدودی بر لزوم برخی از ترفندهای مهندسی غلبه می کند.به طور خاص ، تحت سناریوهای یادگیری دشوار ، اما از نظر بیولوژیکی واقع گرایانه مانند یادگیری آنلاین ، معماری های عمیق و اولیه سازی وزن زیر بهینه ، قانون OJA می تواند به طور قابل ملاحظه ای عملکرد پشتی خالص را بهبود بخشد.نتایج ما نشان می دهد که قوانین انعطاف پذیری سیناپسی ساده می تواند بر چالش هایی برای یادگیری غلبه کند که معمولاً با استفاده از رویکردهای کمتر از نظر بیولوژیکی در هنگام آموزش DNN ها غلبه می کنند.