اکسپرس 24
ترجمه فارسی مقاله طراحی شتاب‌دهنده‌های LLM کارآمد برای دستگاه‌های لبه‌ای

ترجمه فارسی مقاله طراحی شتاب‌دهنده‌های LLM کارآمد برای دستگاه‌های لبه‌ای

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

پرداخت اقساطی
در صورت خرید اقساطی هر قسط: 37,500 تومان
۴ قسط ماهانه. بدون سود، چک و ضامن.
پرداخت اقساطی با دیجی‌پی پرداخت اقساطی با ترب‌پی
عنوان مقاله به انگلیسی Designing Efficient LLM Accelerators for Edge Devices
عنوان مقاله به فارسی طراحی شتاب‌دهنده‌های LLM کارآمد برای دستگاه‌های لبه‌ای
نویسندگان Jude Haris, Rappy Saha, Wenhao Hu, José Cano
فرمت مقاله انگلیسی PDF
تعداد صفحات 5
دسته بندی موضوعات Hardware Architecture,Machine Learning,معماری سخت افزار , یادگیری ماشین ,
توضیحات Submitted 1 August, 2024; originally announced August 2024.
توضیحات به فارسی ارسال شده در 1 اوت 2024 ؛در ابتدا اوت 2024 اعلام شد.

قیمت: 19,000 تومان

دانلود مقاله اصل انگلیسی + خلاصه دو صفحه ای مقاله + پادکست صوتی فارسی خلاصه مقاله

با انتخاب این گزینه، علاوه بر دریافت مقاله اصلی، یک خلاصه دو صفحه‌ای فارسی و پادکست صوتی فارسی خلاصه مقاله را نیز دریافت خواهید کرد.

قیمت: 99,000 تومان

سفارش + خلاصه دو صفحه ای مقاله + پادکست صوتی فارسی خلاصه مقاله

با انتخاب این گزینه، علاوه بر دریافت مقاله اصلی و ترجمه کامل آن، یک خلاصه دو صفحه‌ای فارسی و پادکست صوتی فارسی خلاصه مقاله را نیز دریافت خواهید کرد.

قیمت: 200,000 تومان

زمان تحویل: 2 تا 3 روز کاری

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

چکیده

The increase in open-source availability of Large Language Models (LLMs) has enabled users to deploy them on more and more resource-constrained edge devices to reduce reliance on network connections and provide more privacy. However, the high computation and memory demands of LLMs make their execution on resource-constrained edge devices challenging and inefficient. To address this issue, designing new and efficient edge accelerators for LLM inference is crucial. FPGA-based accelerators are ideal for LLM acceleration due to their reconfigurability, as they enable model-specific optimizations and higher performance per watt. However, creating and integrating FPGA-based accelerators for LLMs (particularly on edge devices) has proven challenging, mainly due to the limited hardware design flows for LLMs in existing FPGA platforms. To tackle this issue, in this paper we first propose a new design platform, named SECDA-LLM, that utilizes the SECDA methodology to streamline the process of designing, integrating, and deploying efficient FPGA-based LLM accelerators for the llama.cpp inference framework. We then demonstrate, through a case study, the potential benefits of SECDA-LLM by creating a new MatMul accelerator that supports block floating point quantized operations for LLMs. Our initial accelerator design, deployed on the PYNQ-Z1 board, reduces latency 1.7 seconds per token or ~2 seconds per word) by 11x over the dual-core Arm NEON-based CPU execution for the TinyLlama model.

چکیده به فارسی (ترجمه ماشینی)

افزایش در دسترس بودن منبع باز از مدل های بزرگ زبان (LLMS) به کاربران این امکان را داده است تا آنها را در دستگاه های Edge با محدودیت بیشتر و بیشتر از منابع مستقر کنند تا اعتماد به اتصالات شبکه را کاهش داده و حریم خصوصی بیشتری را فراهم کنند.با این حال ، محاسبات بالا و تقاضای حافظه LLM ها باعث می شود که اجرای آنها در دستگاه های لبه محدود منابع به چالش کشیده و ناکارآمد باشد.برای پرداختن به این مسئله ، طراحی شتاب دهنده های جدید و کارآمد برای استنتاج LLM بسیار مهم است.شتاب دهنده های مبتنی بر FPGA برای شتاب LLM به دلیل پیکربندی مجدد آنها ایده آل هستند ، زیرا آنها بهینه سازی های خاص مدل و عملکرد بالاتر را در هر وات امکان پذیر می کنند.با این حال ، ایجاد و ادغام شتاب دهنده های مبتنی بر FPGA برای LLM ها (به ویژه در دستگاه های لبه) چالش برانگیز است ، عمدتاً به دلیل جریان محدود طراحی سخت افزاری برای LLM ها در سیستم عامل های FPGA موجود.برای مقابله با این مسئله ، در این مقاله ابتدا یک بستر طراحی جدید با نام Secda-LLM را پیشنهاد می کنیم که از روش SECDA برای ساده سازی روند طراحی ، ادغام و استفاده از شتاب دهنده های کارآمد FPGA برای چارچوب استنتاج LLAMA.CPP استفاده می کند.بشرما سپس از طریق یک مطالعه موردی ، مزایای بالقوه SecDA-LLM را با ایجاد یک شتاب دهنده جدید MATMUL که از عملیات اندازه گیری نقطه شناور برای LLM پشتیبانی می کند ، نشان می دهیم.طراحی شتاب دهنده اولیه ما ، که در صفحه PYNQ-Z1 مستقر شده است ، تاخیر 1.7 ثانیه در هر نشانه یا 2 ثانیه در هر کلمه) توسط 11x بیش از اجرای CPU مبتنی بر بازوی دو هسته ای برای مدل Tinyllama.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.