ترجمه فارسی مقاله کراکن: ترانسفورماتورهای ذاتی موازی برای استنتاج کارآمد چند دستگاه

چکیده

Large Transformer networks are increasingly used in settings where low inference latency can improve the end-user experience and enable new applications. However, autoregressive inference is resource intensive and requires parallelism for efficiency. Parallelism introduces collective communication that is both expensive and represents a phase when hardware resources are underutilized. Towards mitigating this, Kraken is an evolution of the standard Transformer architecture that is designed to complement existing tensor parallelism schemes for efficient inference on multi-device systems. By introducing a fixed degree of intra-layer model parallelism, the architecture allows collective operations to be overlapped with compute, decreasing latency and increasing hardware utilization. When trained on OpenWebText, Kraken models reach a similar perplexity as standard Transformers while also preserving their language modeling capabilities when evaluated on the SuperGLUE benchmark. Importantly, when tested on multi-GPU systems using TensorRT-LLM engines, Kraken speeds up Time To First Token by a mean of 35.6% across a range of model sizes, context lengths, and degrees of tensor parallelism.

چکیده به فارسی (ترجمه ماشینی)

شبکه های ترانسفورماتور بزرگ به طور فزاینده ای در تنظیماتی استفاده می شوند که تأخیر استنتاج کم می تواند تجربه کاربر نهایی را بهبود بخشد و برنامه های جدید را فعال کند.با این حال ، استنتاج خودروگرایی منابع فشرده است و برای کارآیی به موازی نیاز دارد.موازی سازی ارتباطات جمعی را معرفی می کند که هم گران است و هم فاز را نشان می دهد که منابع سخت افزاری مورد استفاده قرار نمی گیرند.به سمت کاهش این امر ، Kraken تکامل معماری استاندارد ترانسفورماتور است که برای تکمیل طرح های موازی با تانسور موجود برای استنباط کارآمد در سیستم های چند دستگاه طراحی شده است.با معرفی یک درجه ثابت از موازی سازی مدل داخل لایه ، معماری اجازه می دهد تا عملیات جمعی با محاسبات ، کاهش تأخیر و افزایش استفاده از سخت افزار همپوشانی داشته باشد.هنگامی که در OpenWebText آموزش دیده می شود ، مدل های Kraken به عنوان ترانسفورماتورهای استاندارد به شدت مشابه می رسند و در عین حال قابلیت های مدل سازی زبان خود را هنگام ارزیابی در معیار Superglue نیز حفظ می کنند.نکته مهم ، هنگامی که در سیستم های چند GPU با استفاده از موتورهای Tensorrt-LLM آزمایش می شود ، Kraken زمان را به میانگین 35.6 ٪ در طیف وسیعی از اندازه های مدل ، طول زمینه و درجه موازی تانسور سرعت می بخشد.