ترجمه فارسی مقاله غلبه بر محدودیت‌های همگام‌سازی لایه‌ها در شبکه‌های عصبی اسپایکی

چکیده

Currently, neural-network processing in machine learning applications relies on layer synchronization, whereby neurons in a layer aggregate incoming currents from all neurons in the preceding layer, before evaluating their activation function. This is practiced even in artificial Spiking Neural Networks (SNNs), which are touted as consistent with neurobiology, in spite of processing in the brain being, in fact asynchronous. A truly asynchronous system however would allow all neurons to evaluate concurrently their threshold and emit spikes upon receiving any presynaptic current. Omitting layer synchronization is potentially beneficial, for latency and energy efficiency, but asynchronous execution of models previously trained with layer synchronization may entail a mismatch in network dynamics and performance. We present a study that documents and quantifies this problem in three datasets on our simulation environment that implements network asynchrony, and we show that models trained with layer synchronization either perform sub-optimally in absence of the synchronization, or they will fail to benefit from any energy and latency reduction, when such a mechanism is in place. We then “make ends meet” and address the problem with unlayered backprop, a novel backpropagation-based training method, for learning models suitable for asynchronous processing. We train with it models that use different neuron execution scheduling strategies, and we show that although their neurons are more reactive, these models consistently exhibit lower overall spike density (up to 50%), reach a correct decision faster (up to 2x) without integrating all spikes, and achieve superior accuracy (up to 10% higher). Our findings suggest that asynchronous event-based (neuromorphic) AI computing is indeed more efficient, but we need to seriously rethink how we train our SNN models, to benefit from it.

چکیده به فارسی (ترجمه ماشینی)

در حال حاضر ، پردازش شبکه عصبی در برنامه های یادگیری ماشین به هماهنگ سازی لایه متکی است ، به این ترتیب نورونها در یک لایه جریان ورودی از همه نورون ها در لایه قبل ، قبل از ارزیابی عملکرد فعال سازی آنها.این حتی در شبکه های عصبی سنبله مصنوعی (SNN) ، که به رغم پردازش در مغز ، در واقع ناهمزمان است ، انجام می شود.با این حال ، یک سیستم واقعاً ناهمزمان به همه نورونها امکان می دهد آستانه خود را همزمان ارزیابی کنند و سنبله ها را پس از دریافت هر جریان پیش سیناپسی ساطع کنند.حذف همگام سازی لایه به طور بالقوه مفید است ، برای تأخیر و بهره وری انرژی ، اما اجرای ناهمزمان مدلهایی که قبلاً با همگام سازی لایه آموزش دیده بودند ممکن است مستلزم عدم تطابق در پویایی شبکه و عملکرد باشد.ما یک مطالعه را ارائه می دهیم که این مشکل را در سه مجموعه داده در محیط شبیه سازی ما که شبکه ناهمکونی شبکه را پیاده سازی می کند ، اسناد و اندازه گیری می کند ، و ما نشان می دهیم که مدل های آموزش داده شده با هماهنگ سازی لایه یا در صورت عدم هماهنگی ، به طور زیرنوازی را انجام می دهند ، یا آنها از هرگونه بهره مند نمی شوند.انرژی و کاهش تأخیر ، هنگامی که چنین مکانیسم وجود دارد.سپس “ما به پایان می رسیم” و مشکل را با Unlayered Backprop ، یک روش جدید آموزش مبتنی بر پشتوانه ، برای مدل های یادگیری مناسب برای پردازش ناهمزمان حل می کنیم.ما با مدل های IT آموزش می دهیم که از استراتژی های مختلف برنامه ریزی اجرای نورون استفاده می کنند ، و نشان می دهیم که اگرچه نورون های آنها واکنش پذیر تر هستند ، اما این مدل ها به طور مداوم تراکم سنبله کلی پایین تر (حداکثر 50 ٪) را نشان می دهند ، اما به یک تصمیم صحیح سریعتر (تا 2x) می رسندادغام همه سنبله ها ، و دستیابی به دقت برتر (تا 10 ٪ بالاتر).یافته های ما نشان می دهد که محاسبات AI مبتنی بر رویداد ناهمزمان (عصبی) در واقع کارآمدتر است ، اما ما باید به طور جدی فکر کنیم که چگونه مدلهای SNN خود را آموزش می دهیم تا از آن بهره مند شویم.