ترجمه فارسی مقاله در مورد بهبود تعمیم و ثبات یادگیری فقط از طریق قطبش عصبی

چکیده

Convolutional Neural Networks (CNNs) combine large amounts of parallelizable computation with frequent memory access. Field Programmable Gate Arrays (FPGAs) can achieve low latency and high throughput CNN inference by implementing dataflow accelerators that pipeline layer-specific hardware to implement an entire network. By implementing a different processing element for each CNN layer, these layer-pipelined accelerators can achieve high compute density, but having all layers processing in parallel requires high memory bandwidth. Traditionally this has been satisfied by storing all weights on chip, but this is infeasible for the largest CNNs, which are often those most in need of acceleration. In this work we augment a state-of-the-art dataflow accelerator (HPIPE) to leverage both High-Bandwidth Memory (HBM) and on-chip storage, enabling high performance layer-pipelined dataflow acceleration of large CNNs. Based on profiling results of HBM’s latency and throughput against expected address patterns, we develop an algorithm to choose which weight buffers should be moved off chip and how deep the on-chip FIFOs to HBM should be to minimize compute unit stalling. We integrate the new hardware generation within the HPIPE domain-specific CNN compiler and demonstrate good bandwidth efficiency against theoretical limits. Compared to the best prior work we obtain speed-ups of at least 19.4x, 5.1x and 10.5x on ResNet-18, ResNet-50 and VGG-16 respectively.

چکیده به فارسی (ترجمه ماشینی)

شبکه های عصبی Convolutional (CNN) مقادیر زیادی از محاسبات موازی را با دسترسی مکرر حافظه ترکیب می کنند.آرایه های دروازه قابل برنامه ریزی Field (FPGA) می توانند با اجرای شتاب دهنده های جریان داده که سخت افزار خاص لایه خط لوله برای اجرای کل شبکه دارند ، به تأخیر کم و استنتاج با توان بالا با توان بالا برسند.با اجرای یک عنصر پردازش متفاوت برای هر لایه CNN ، این شتاب دهنده های لایه لایه شده می توانند به چگالی محاسباتی بالا دست یابند ، اما داشتن همه لایه ها به صورت موازی به پهنای باند حافظه بالا نیاز دارد.به طور سنتی این امر با ذخیره تمام وزنه ها روی تراشه راضی شده است ، اما این برای بزرگترین CNN ها ، که اغلب آنها نیاز به شتاب دارند ، غیرقابل تحمل است.در این کار ما یک شتاب دهنده پیشرفته DataFlow (HPIPE) را تقویت می کنیم تا از حافظه باند بالا (HBM) و ذخیره سازی روی تراشه استفاده کنیم و باعث شتاب جریان داده های لایه ای با کارایی بالا در CNN های بزرگ می شویم.بر اساس نتایج پروفایل تأخیر و توان HBM در برابر الگوهای آدرس مورد انتظار ، ما یک الگوریتم ایجاد می کنیم تا انتخاب کنیم که بافر وزن باید از تراشه منتقل شود و FIFO های روی تراشه تا HBM چقدر باید به حداقل رساندن محاسبه واحد محاسبه شود.ما نسل سخت افزاری جدید را در کامپایلر CNN خاص دامنه HPIPE ادغام می کنیم و راندمان پهنای باند خوبی را در برابر محدودیت های نظری نشان می دهیم.در مقایسه با بهترین کار قبلی ، ما به ترتیب حداقل 19.4x ، 5.1x و 10.5x در RESNET-18 ، RESNET-50 و VGG-16 را به دست می آوریم.