ترجمه فارسی مقاله طراحی شتاب‌دهنده‌های LLM کارآمد برای دستگاه‌های لبه‌ای

چکیده

The increase in open-source availability of Large Language Models (LLMs) has enabled users to deploy them on more and more resource-constrained edge devices to reduce reliance on network connections and provide more privacy. However, the high computation and memory demands of LLMs make their execution on resource-constrained edge devices challenging and inefficient. To address this issue, designing new and efficient edge accelerators for LLM inference is crucial. FPGA-based accelerators are ideal for LLM acceleration due to their reconfigurability, as they enable model-specific optimizations and higher performance per watt. However, creating and integrating FPGA-based accelerators for LLMs (particularly on edge devices) has proven challenging, mainly due to the limited hardware design flows for LLMs in existing FPGA platforms. To tackle this issue, in this paper we first propose a new design platform, named SECDA-LLM, that utilizes the SECDA methodology to streamline the process of designing, integrating, and deploying efficient FPGA-based LLM accelerators for the llama.cpp inference framework. We then demonstrate, through a case study, the potential benefits of SECDA-LLM by creating a new MatMul accelerator that supports block floating point quantized operations for LLMs. Our initial accelerator design, deployed on the PYNQ-Z1 board, reduces latency 1.7 seconds per token or ~2 seconds per word) by 11x over the dual-core Arm NEON-based CPU execution for the TinyLlama model.

چکیده به فارسی (ترجمه ماشینی)

افزایش در دسترس بودن منبع باز از مدل های بزرگ زبان (LLMS) به کاربران این امکان را داده است تا آنها را در دستگاه های Edge با محدودیت بیشتر و بیشتر از منابع مستقر کنند تا اعتماد به اتصالات شبکه را کاهش داده و حریم خصوصی بیشتری را فراهم کنند.با این حال ، محاسبات بالا و تقاضای حافظه LLM ها باعث می شود که اجرای آنها در دستگاه های لبه محدود منابع به چالش کشیده و ناکارآمد باشد.برای پرداختن به این مسئله ، طراحی شتاب دهنده های جدید و کارآمد برای استنتاج LLM بسیار مهم است.شتاب دهنده های مبتنی بر FPGA برای شتاب LLM به دلیل پیکربندی مجدد آنها ایده آل هستند ، زیرا آنها بهینه سازی های خاص مدل و عملکرد بالاتر را در هر وات امکان پذیر می کنند.با این حال ، ایجاد و ادغام شتاب دهنده های مبتنی بر FPGA برای LLM ها (به ویژه در دستگاه های لبه) چالش برانگیز است ، عمدتاً به دلیل جریان محدود طراحی سخت افزاری برای LLM ها در سیستم عامل های FPGA موجود.برای مقابله با این مسئله ، در این مقاله ابتدا یک بستر طراحی جدید با نام Secda-LLM را پیشنهاد می کنیم که از روش SECDA برای ساده سازی روند طراحی ، ادغام و استفاده از شتاب دهنده های کارآمد FPGA برای چارچوب استنتاج LLAMA.CPP استفاده می کند.بشرما سپس از طریق یک مطالعه موردی ، مزایای بالقوه SecDA-LLM را با ایجاد یک شتاب دهنده جدید MATMUL که از عملیات اندازه گیری نقطه شناور برای LLM پشتیبانی می کند ، نشان می دهیم.طراحی شتاب دهنده اولیه ما ، که در صفحه PYNQ-Z1 مستقر شده است ، تاخیر 1.7 ثانیه در هر نشانه یا 2 ثانیه در هر کلمه) توسط 11x بیش از اجرای CPU مبتنی بر بازوی دو هسته ای برای مدل Tinyllama.