اکسپرس 24
ترجمه فارسی مقاله مقیاس‌بندی فرکانس پردازنده گرافیکی (GPU) آگاه از SLO برای سرویس استنتاج LLM با مصرف انرژی کارآمد

ترجمه فارسی مقاله مقیاس‌بندی فرکانس پردازنده گرافیکی (GPU) آگاه از SLO برای سرویس استنتاج LLM با مصرف انرژی کارآمد

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

پرداخت اقساطی
در صورت خرید اقساطی هر قسط: 37,500 تومان
۴ قسط ماهانه. بدون سود، چک و ضامن.
پرداخت اقساطی با دیجی‌پی پرداخت اقساطی با ترب‌پی
عنوان مقاله به انگلیسی SLO-aware GPU Frequency Scaling for Energy Efficient LLM Inference Serving
عنوان مقاله به فارسی مقیاس‌بندی فرکانس پردازنده گرافیکی (GPU) آگاه از SLO برای سرویس استنتاج LLM با مصرف انرژی کارآمد
نویسندگان Andreas Kosmas Kakolyris, Dimosthenis Masouros, Petros Vavaroutsos, Sotirios Xydis, Dimitrios Soudris
فرمت مقاله انگلیسی PDF
تعداد صفحات 14
دسته بندی موضوعات Distributed, Parallel, and Cluster Computing,Artificial Intelligence,Hardware Architecture,Machine Learning,محاسبات توزیع شده , موازی و خوشه ای , هوش مصنوعی , معماری سخت افزار , یادگیری ماشین
توضیحات Submitted 5 August, 2024; originally announced August 2024.
توضیحات به فارسی ارسال شده در 5 اوت 2024 ؛در ابتدا اوت 2024 اعلام شد.

قیمت: 19,000 تومان

سفارش

با انتخاب این گزینه، علاوه بر دریافت مقاله اصلی، را نیز سفارش می‌دهید.

قیمت: 560,000 تومان

زمان تحویل: 2 تا 3 روز کاری

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

چکیده

As Large Language Models (LLMs) gain traction, their reliance on power-hungry GPUs places ever-increasing energy demands, raising environmental and monetary concerns. Inference dominates LLM workloads, presenting a critical challenge for providers: minimizing energy costs under Service-Level Objectives (SLOs) that ensure optimal user experience. In this paper, we present textit{throttLL'eM}, a framework that reduces energy consumption while meeting SLOs through the use of instance and GPU frequency scaling. textit{throttLL'eM} features mechanisms that project future KV cache usage and batch size. Leveraging a Machine-Learning (ML) model that receives these projections as inputs, textit{throttLL'eM} manages performance at the iteration level to satisfy SLOs with reduced frequencies and instance sizes. We show that the proposed ML model achieves $R^2$ scores greater than 0.97 and miss-predicts performance by less than 1 iteration per second on average. Experimental results on LLM inference traces show that textit{throttLL'eM} achieves up to 43.8% lower energy consumption and an energy efficiency improvement of at least $1.71times$ under SLOs, when compared to NVIDIA's Triton server.

چکیده به فارسی (ترجمه ماشینی)

از آنجا که مدل های بزرگ زبان (LLMS) به دست می آیند ، اعتماد به نفس آنها به GPU های گرسنه قدرت ، تقاضای انرژی روزافزون را ایجاد می کند و نگرانی های زیست محیطی و پولی را افزایش می دهد.استنتاج حاکم بر بار کار LLM است و یک چالش مهم برای ارائه دهندگان ارائه می دهد: به حداقل رساندن هزینه های انرژی تحت اهداف سطح خدمات (SLO) که تجربه کاربر بهینه را تضمین می کند.در این مقاله ، ما textit {throttll'em} را ارائه می دهیم ، چارچوبی که مصرف انرژی را در حالی که با استفاده از SLO ها با استفاده از مقیاس فرکانس نمونه و GPU ، کاهش می یابد ، کاهش می دهد. textit {throttll'em} مکانیزم هایی را نشان می دهد که در آینده استفاده از حافظه پنهان KV و اندازه دسته ای را نشان می دهد.با استفاده از یک مدل یادگیری ماشین (ML) که این پیش بینی ها را به عنوان ورودی دریافت می کند ، textit {throttll'em} عملکرد را در سطح تکرار مدیریت می کند تا SLO ها را با کاهش فرکانس ها و اندازه های نمونه برآورده کند.ما نشان می دهیم که مدل ML پیشنهادی نمرات R^2 $ بیشتر از 0.97 و عملکرد پیش نویس های از دست می دهد و به طور متوسط ​​کمتر از 1 تکرار در ثانیه.نتایج تجربی در مورد آثار استنتاج LLM نشان می دهد که textit {throttll'em} تا 43.8 ٪ مصرف انرژی پایین تر و بهبود بهره وری انرژی حداقل 1.71 $ $ در زیر SLO ها ، در مقایسه با سرور Triton NVIDIA ، به دست می آید.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.