ترجمه فارسی مقاله تأثیر ابرپارامترها بر عملکرد استنتاج مدل زبان بزرگ: ارزیابی خطوط لوله vLLM و HuggingFace

چکیده

The recent surge of open-source large language models (LLMs) enables developers to create AI-based solutions while maintaining control over aspects such as privacy and compliance, thereby providing governance and ownership of the model deployment process. To utilize these LLMs, inference engines are needed. These engines load the model’s weights onto available resources, such as GPUs, and process queries to generate responses. The speed of inference, or performance, of the LLM, is critical for real-time applications, as it computes millions or billions of floating point operations per inference. Recently, advanced inference engines such as vLLM have emerged, incorporating novel mechanisms such as efficient memory management to achieve state-of-the-art performance. In this paper, we analyze the performance, particularly the throughput (tokens generated per unit of time), of 20 LLMs using two inference libraries: vLLM and HuggingFace’s pipelines. We investigate how various hyperparameters, which developers must configure, influence inference performance. Our results reveal that throughput landscapes are irregular, with distinct peaks, highlighting the importance of hyperparameter optimization to achieve maximum performance. We also show that applying hyperparameter optimization when upgrading or downgrading the GPU model used for inference can improve throughput from HuggingFace pipelines by an average of 9.16% and 13.7%, respectively.

چکیده به فارسی (ترجمه ماشینی)

افزایش اخیر مدل های بزرگ زبان با منبع باز (LLMS) توسعه دهندگان را قادر می سازد ضمن حفظ کنترل بر جنبه هایی از قبیل حفظ حریم خصوصی و انطباق ، راه حل های مبتنی بر هوش مصنوعی را ایجاد کنند و از این طریق حاکمیت و مالکیت فرایند استقرار مدل را فراهم می کنند.برای استفاده از این LLM ها ، موتورهای استنتاج لازم است.این موتورها وزن مدل را بر روی منابع موجود مانند GPU ها و نمایش داده های فرآیند برای تولید پاسخ ها بارگیری می کنند.سرعت استنباط یا عملکرد LLM برای کاربردهای زمان واقعی بسیار مهم است ، زیرا میلیون ها یا میلیاردها عملیات نقطه شناور در هر استنتاج را محاسبه می کند.به تازگی ، موتورهای استنتاج پیشرفته مانند VLLM ظهور کرده اند و شامل مکانیسم های جدید مانند مدیریت حافظه کارآمد برای دستیابی به عملکرد پیشرفته هستند.در این مقاله ، ما عملکرد ، به ویژه توان (نشانه های تولید شده در هر واحد زمان) را از 20 LLM با استفاده از دو کتابخانه استنتاج تجزیه و تحلیل می کنیم: خطوط لوله VLLM و HUGGINGFACE.ما بررسی می کنیم که چگونه Hyperparameters مختلف ، که توسعه دهندگان باید پیکربندی کنند ، بر عملکرد استنباط تأثیر می گذارند.نتایج ما نشان می دهد که مناظر توانبخشی نامنظم هستند و قله های مجزا دارند و اهمیت بهینه سازی هایپرپارامتر را برای دستیابی به حداکثر عملکرد برجسته می کنند.ما همچنین نشان می دهیم که استفاده از بهینه سازی هایپرپارامتر هنگام به روزرسانی یا پایین آمدن مدل GPU مورد استفاده برای استنتاج می تواند به ترتیب به ترتیب 9.16 ٪ و 13.7 ٪ به ترتیب عملکرد را از خطوط لوله بغل بهبود بخشد.