ترجمه فارسی مقاله ScaleLLM: یک چارچوب ارائه خدمات LLM با صرفه‌جویی در منابع با بهینه‌سازی کارایی سرتاسری

چکیده

Large language models (LLMs) have surged in popularity and are extensively used in commercial applications, where the efficiency of model serving is crucial for the user experience. Most current research focuses on optimizing individual sub-procedures, e.g. local inference and communication, however, there is no comprehensive framework that provides a holistic system view for optimizing LLM serving in an end-to-end manner. In this work, we conduct a detailed analysis to identify major bottlenecks that impact end-to-end latency in LLM serving systems. Our analysis reveals that a comprehensive LLM serving endpoint must address a series of efficiency bottlenecks that extend beyond LLM inference. We then propose ScaleLLM, an optimized system for resource-efficient LLM serving. Our extensive experiments reveal that with 64 concurrent requests, ScaleLLM achieves a 4.3x speed up over vLLM and outperforms state-of-the-arts with 1.5x higher throughput.

چکیده به فارسی (ترجمه ماشینی)

مدلهای بزرگ زبان (LLM) محبوبیت زیادی پیدا کرده اند و در برنامه های تجاری مورد استفاده قرار می گیرند ، جایی که راندمان خدمت مدل برای تجربه کاربر بسیار مهم است.بیشتر تحقیقات فعلی بر بهینه سازی زیر مجموعه های فردی ، به عنوان مثال متمرکز است.با این حال ، استنباط و ارتباطات محلی ، هیچ چارچوبی جامع وجود ندارد که یک سیستم جامع را برای بهینه سازی خدمت LLM به روشی پایان به پایان فراهم کند.در این کار ، ما تجزیه و تحلیل مفصلی را برای شناسایی تنگناهای اصلی که تأثیر تأخیر پایان به پایان در سیستم های خدمت LLM را انجام می دهد ، انجام می دهیم.تجزیه و تحلیل ما نشان می دهد که یک نقطه پایانی جامع LLM که باید به مجموعه ای از تنگناهای کارآیی بپردازد که فراتر از استنتاج LLM است.ما سپس ScalellM ، یک سیستم بهینه شده برای LLM با منابع منابع را پیشنهاد می کنیم.آزمایش های گسترده ما نشان می دهد که با 64 درخواست همزمان ، Scalellm به سرعت 4.3 برابر نسبت به VLLM دست می یابد و با توان 1.5 برابر بالاتر از آن بهتر است.