ترجمه فارسی مقاله Deeploy: فعال کردن استقرار کارآمد مدل‌های زبان کوچک در میکروکنترلرهای ناهمگن

چکیده

With the rise of Embodied Foundation Models (EFMs), most notably Small Language Models (SLMs), adapting Transformers for edge applications has become a very active field of research. However, achieving end-to-end deployment of SLMs on microcontroller (MCU)-class chips without high-bandwidth off-chip main memory access is still an open challenge. In this paper, we demonstrate high-efficiency end-to-end SLM deployment on a multicore RISC-V (RV32) MCU augmented with ML instruction extensions and a hardware neural processing unit (NPU). To automate the exploration of the constrained, multi-dimensional memory vs. computation tradeoffs involved in aggressive SLM deployment on heterogeneous (multicore+NPU) resources, we introduce Deeploy, a novel Deep Neural Network (DNN) compiler, which generates highly-optimized C code requiring minimal runtime support. We demonstrate that Deeploy generates end-to-end code for executing SLMs, fully exploiting the RV32 cores’ instruction extensions and the NPU: We achieve leading-edge energy and throughput of SI{490}{microjoule per Token}, at SI{340}{Token per second} for an SLM trained on the TinyStories dataset, running for the first time on an MCU-class device without external memory.

چکیده به فارسی (ترجمه ماشینی)

با ظهور مدلهای بنیاد تجسم یافته (EFMS) ، مهمترین مدل های زبان کوچک (SLM) ، ترانسفورماتورها برای برنامه های Edge به یک زمینه تحقیق بسیار فعال تبدیل شده است.با این حال ، دستیابی به استقرار پایان به پایان از SLM ها بر روی تراشه های کلاس میکروکنترلر (MCU) بدون دسترسی به حافظه اصلی با باند بالا که دارای پهنای باند است ، هنوز یک چالش باز است.در این مقاله ، ما استقرار SLM با راندمان بالا را بر روی یک MCU MCU چندگانه RISC-V (RV32) با پسوندهای دستورالعمل ML و یک واحد پردازش عصبی سخت افزاری (NPU) نشان می دهیم.برای خودکار سازی اکتشاف حافظه محدود ، چند بعدی در مقابل تجارت محاسبات درگیر در استقرار SLM تهاجمی در منابع ناهمگن (چند هسته ای+NPU) ، ما Deeploy ، یک کامپایلر جدید شبکه عصبی عمیق (DNN) را معرفی می کنیم ، که تولید C بسیار بهینه ای استکد نیاز به حداقل پشتیبانی از زمان اجرا دارد.ما نشان می دهیم که Deeploy برای اجرای SLM ، کد پایان به انتها تولید می کند ، به طور کامل از پسوندهای دستورالعمل هسته RV32 و NPU استفاده می کند: ما به انرژی و توان پیشرو و توان Si {490} { micro joule per token} می رسیم.، در si {340} {token per second} برای SLM که در مجموعه داده های TinyStories آموزش داده شده است ، برای اولین بار در یک دستگاه کلاس MCU و بدون حافظه خارجی اجرا می شود.