ترجمه فارسی مقاله دو بار فکر نکنید: از تغییرناپذیری شیفت برای استنتاج کارآمد جریان آنلاین CNNها استفاده کنید

چکیده

Deep learning time-series processing often relies on convolutional neural networks with overlapping windows. This overlap allows the network to produce an output faster than the window length. However, it introduces additional computations. This work explores the potential to optimize computational efficiency during inference by exploiting convolution’s shift-invariance properties to skip the calculation of layer activations between successive overlapping windows. Although convolutions are shift-invariant, zero-padding and pooling operations, widely used in such networks, are not efficient and complicate efficient streaming inference. We introduce StreamiNNC, a strategy to deploy Convolutional Neural Networks for online streaming inference. We explore the adverse effects of zero padding and pooling on the accuracy of streaming inference, deriving theoretical error upper bounds for pooling during streaming. We address these limitations by proposing signal padding and pooling alignment and provide guidelines for designing and deploying models for StreamiNNC. We validate our method in simulated data and on three real-world biomedical signal processing applications. StreamiNNC achieves a low deviation between streaming output and normal inference for all three networks (2.03 – 3.55% NRMSE). This work demonstrates that it is possible to linearly speed up the inference of streaming CNNs processing overlapping windows, negating the additional computation typically incurred by overlapping windows.

چکیده به فارسی (ترجمه ماشینی)

پردازش سری زمانی عمیق یادگیری اغلب به شبکه های عصبی حلقوی با ویندوز همپوشانی متکی است.این همپوشانی به شبکه اجازه می دهد تا خروجی را سریعتر از طول پنجره تولید کند.با این حال ، محاسبات اضافی را معرفی می کند.این کار پتانسیل بهینه سازی بهره وری محاسباتی را در هنگام استنتاج با بهره برداری از خصوصیات تغییر تغییر Convolution برای صرفه جویی در محاسبه فعال سازی های لایه بین ویندوزهای همپوشانی پی در پی بررسی می کند.اگرچه پیچیدگی ها متغیر تغییر هستند ، عملیات صفر و جمع آوری ، که به طور گسترده در چنین شبکه هایی مورد استفاده قرار می گیرند ، استنباط جریان کارآمد و پیچیده نیست.ما Streaminnc را معرفی می کنیم ، یک استراتژی برای استقرار شبکه های عصبی حلقوی برای استنتاج جریان آنلاین.ما عوارض جانبی بالشتک صفر و استخر را بر روی صحت استنباط جریان ، به دست می آوریم ، که خطای نظری برای جمع آوری در طول جریان است.ما با پیشنهاد بالشتک سیگنال و تراز کردن ، این محدودیت ها را بررسی می کنیم و دستورالعمل هایی را برای طراحی و استقرار مدل ها برای StreamInnc ارائه می دهیم.ما روش خود را در داده های شبیه سازی شده و در سه برنامه پردازش سیگنال زیست پزشکی در دنیای واقعی تأیید می کنیم.Streaminnc به یک انحراف کم بین خروجی جریان و استنتاج طبیعی برای هر سه شبکه (2.03 – 3.55 ٪ NRMSE) دست می یابد.این کار نشان می دهد که می توان به طور خطی استنباط جریان CNN را با هم تداخل داشت ، و محاسبات اضافی را که معمولاً توسط همپوشانی ویندوز انجام می شود ، نفی می کند.