مقاله SySMOL: یک چارچوب طراحی مشترک سخت‌افزار-نرم‌افزار برای شبکه‌های عصبی ترکیبی با دقت ترکیبی اولترا پایین و ریزساختار

چکیده

Recent advancements in quantization and mixed-precision techniques offer significant promise for improving the run-time and energy efficiency of neural networks. In this work, we further showed that neural networks, wherein individual parameters or activations can take on different precisions ranging between 1 and 4 bits, can achieve accuracies comparable to or exceeding the full-precision counterparts. However, the deployment of such networks poses numerous challenges, stemming from the necessity to manage and control the compute/communication/storage requirements associated with these extremely fine-grained mixed precisions for each piece of data. There is a lack of existing efficient hardware and system-level support tailored to these unique and challenging requirements. Our research introduces the first novel holistic hardware-software co-design approach for these networks, which enables a continuous feedback loop between hardware design, training, and inference to facilitate systematic design exploration. As a proof-of-concept, we illustrate this co-design approach by designing new, configurable CPU SIMD architectures tailored for these networks, tightly integrating the architecture with new system-aware training and inference techniques. We perform systematic design space exploration using this framework to analyze various tradeoffs. The design for mixed-precision networks that achieves optimized tradeoffs corresponds to an architecture that supports 1, 2, and 4-bit fixed-point operations with four configurable precision patterns, when coupled with system-aware training and inference optimization — networks trained for this design achieve accuracies that closely match full-precision accuracies, while compressing and improving run-time efficiency of the neural networks drastically by 10-20x, compared to full-precision networks.

چکیده به فارسی (ترجمه ماشینی)

پیشرفت های اخیر در کمیت و تکنیک های با دقت مختلط نوید قابل توجهی برای بهبود زمان اجرا و بهره وری انرژی شبکه های عصبی ارائه می دهد.در این کار ، ما همچنین نشان دادیم که شبکه های عصبی ، که در آن پارامترها یا فعال سازی های فردی می توانند دقت های مختلفی را بین 1 تا 4 بیت انجام دهند ، می توانند به دقت و مقایسه ای با همتایان با دقت کامل دست یابند.با این حال ، استقرار چنین شبکه هایی چالش های بی شماری را ایجاد می کند ، که ناشی از ضرورت مدیریت و کنترل الزامات محاسبات/ارتباطات/ذخیره سازی مرتبط با این دقت های مختلط بسیار ریز دانه برای هر قطعه داده است.کمبود سخت افزار کارآمد و پشتیبانی از سطح سیستم متناسب با این الزامات منحصر به فرد و چالش برانگیز وجود دارد.تحقیقات ما اولین رویکرد طراحی همبستگی سخت افزاری سخت افزار را برای این شبکه ها معرفی می کند ، که یک حلقه بازخورد مداوم بین طراحی سخت افزار ، آموزش و استنباط را برای تسهیل اکتشاف طراحی سیستماتیک امکان پذیر می کند.به عنوان یک اثبات مفهوم ، ما این رویکرد طراحی مشترک را با طراحی معماری های جدید و قابل تنظیم CPU SIMD متناسب با این شبکه ها نشان می دهیم ، که کاملاً معماری را با آموزش جدید سیستم و تکنیک های استنتاج ادغام می کنیم.ما اکتشافات فضایی طراحی سیستماتیک را با استفاده از این چارچوب برای تجزیه و تحلیل معاملات مختلف انجام می دهیم.طراحی برای شبکه های با دقت مختلط که به تجارت بهینه رسیده است ، مربوط به معماری است که از عملیات ثابت 1 ، 2 و 4 بیتی با چهار الگوی دقیق قابل تنظیم پشتیبانی می کند ، هنگامی که همراه با آموزش آگاه سیستم و بهینه سازی استنتاج است-شبکه هایی که برای آن آموزش دیده انداین طراحی به دقت هایی می رسد که از نزدیک با دقت کامل مطابقت دارد ، در حالی که فشرده سازی و بهبود کارآیی زمان اجرا شبکه های عصبی با 10-20X ، در مقایسه با شبکه های با دقت کامل.