اکسپرس 24
ترجمه فارسی مقاله تأثیر ابرپارامترها بر عملکرد استنتاج مدل زبان بزرگ: ارزیابی خطوط لوله vLLM و HuggingFace

ترجمه فارسی مقاله تأثیر ابرپارامترها بر عملکرد استنتاج مدل زبان بزرگ: ارزیابی خطوط لوله vLLM و HuggingFace

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

پرداخت اقساطی
در صورت خرید اقساطی هر قسط: 37,500 تومان
۴ قسط ماهانه. بدون سود، چک و ضامن.
پرداخت اقساطی با دیجی‌پی پرداخت اقساطی با ترب‌پی
عنوان مقاله به انگلیسی The Impact of Hyperparameters on Large Language Model Inference Performance: An Evaluation of vLLM and HuggingFace Pipelines
عنوان مقاله به فارسی تأثیر ابرپارامترها بر عملکرد استنتاج مدل زبان بزرگ: ارزیابی خطوط لوله vLLM و HuggingFace
نویسندگان Matias Martinez
فرمت مقاله انگلیسی PDF
تعداد صفحات 12
دسته بندی موضوعات Software Engineering,Computation and Language,Machine Learning,مهندسی نرم افزار , محاسبات و زبان , یادگیری ماشین ,
توضیحات Submitted 2 August, 2024; originally announced August 2024.
توضیحات به فارسی ارسال شده در 2 اوت 2024 ؛در ابتدا اوت 2024 اعلام شد.

قیمت: 19,000 تومان

دانلود مقاله اصل انگلیسی + خلاصه دو صفحه ای مقاله + پادکست صوتی فارسی خلاصه مقاله

با انتخاب این گزینه، علاوه بر دریافت مقاله اصلی، یک خلاصه دو صفحه‌ای فارسی و پادکست صوتی فارسی خلاصه مقاله را نیز دریافت خواهید کرد.

قیمت: 99,000 تومان

سفارش + خلاصه دو صفحه ای مقاله + پادکست صوتی فارسی خلاصه مقاله

با انتخاب این گزینه، علاوه بر دریافت مقاله اصلی و ترجمه کامل آن، یک خلاصه دو صفحه‌ای فارسی و پادکست صوتی فارسی خلاصه مقاله را نیز دریافت خواهید کرد.

قیمت: 480,000 تومان

زمان تحویل: 2 تا 3 روز کاری

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

چکیده

The recent surge of open-source large language models (LLMs) enables developers to create AI-based solutions while maintaining control over aspects such as privacy and compliance, thereby providing governance and ownership of the model deployment process. To utilize these LLMs, inference engines are needed. These engines load the model's weights onto available resources, such as GPUs, and process queries to generate responses. The speed of inference, or performance, of the LLM, is critical for real-time applications, as it computes millions or billions of floating point operations per inference. Recently, advanced inference engines such as vLLM have emerged, incorporating novel mechanisms such as efficient memory management to achieve state-of-the-art performance. In this paper, we analyze the performance, particularly the throughput (tokens generated per unit of time), of 20 LLMs using two inference libraries: vLLM and HuggingFace's pipelines. We investigate how various hyperparameters, which developers must configure, influence inference performance. Our results reveal that throughput landscapes are irregular, with distinct peaks, highlighting the importance of hyperparameter optimization to achieve maximum performance. We also show that applying hyperparameter optimization when upgrading or downgrading the GPU model used for inference can improve throughput from HuggingFace pipelines by an average of 9.16% and 13.7%, respectively.

چکیده به فارسی (ترجمه ماشینی)

افزایش اخیر مدل های بزرگ زبان با منبع باز (LLMS) توسعه دهندگان را قادر می سازد ضمن حفظ کنترل بر جنبه هایی از قبیل حفظ حریم خصوصی و انطباق ، راه حل های مبتنی بر هوش مصنوعی را ایجاد کنند و از این طریق حاکمیت و مالکیت فرایند استقرار مدل را فراهم می کنند.برای استفاده از این LLM ها ، موتورهای استنتاج لازم است.این موتورها وزن مدل را بر روی منابع موجود مانند GPU ها و نمایش داده های فرآیند برای تولید پاسخ ها بارگیری می کنند.سرعت استنباط یا عملکرد LLM برای کاربردهای زمان واقعی بسیار مهم است ، زیرا میلیون ها یا میلیاردها عملیات نقطه شناور در هر استنتاج را محاسبه می کند.به تازگی ، موتورهای استنتاج پیشرفته مانند VLLM ظهور کرده اند و شامل مکانیسم های جدید مانند مدیریت حافظه کارآمد برای دستیابی به عملکرد پیشرفته هستند.در این مقاله ، ما عملکرد ، به ویژه توان (نشانه های تولید شده در هر واحد زمان) را از 20 LLM با استفاده از دو کتابخانه استنتاج تجزیه و تحلیل می کنیم: خطوط لوله VLLM و HUGGINGFACE.ما بررسی می کنیم که چگونه Hyperparameters مختلف ، که توسعه دهندگان باید پیکربندی کنند ، بر عملکرد استنباط تأثیر می گذارند.نتایج ما نشان می دهد که مناظر توانبخشی نامنظم هستند و قله های مجزا دارند و اهمیت بهینه سازی هایپرپارامتر را برای دستیابی به حداکثر عملکرد برجسته می کنند.ما همچنین نشان می دهیم که استفاده از بهینه سازی هایپرپارامتر هنگام به روزرسانی یا پایین آمدن مدل GPU مورد استفاده برای استنتاج می تواند به ترتیب به ترتیب 9.16 ٪ و 13.7 ٪ به ترتیب عملکرد را از خطوط لوله بغل بهبود بخشد.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.