ترجمه فارسی مقاله PackMamba: پردازش کارآمد توالی‌های با طول متغیر در آموزش Mamba

چکیده

With the evolution of large language models, traditional Transformer models become computationally demanding for lengthy sequences due to the quadratic growth in computation with respect to the sequence length. Mamba, emerging as a groundbreaking architecture in the field of generative AI, demonstrates remarkable proficiency in handling elongated sequences with reduced computational and memory complexity. Nevertheless, the existing training framework of Mamba presents inefficiency with variable-length sequence inputs. Either single-sequence training results in low GPU utilization, or batched processing of variable-length sequences to a maximum length incurs considerable memory and computational overhead. To address this problem, we analyze the performance of bottleneck operators in Mamba under diverse tensor shapes and proposed PackMamba, a high-throughput Mamba that efficiently handles variable-length sequences. Diving deep into state-space models (SSMs), we modify the parallel operators to avoid passing information between individual sequences while maintaining high performance. Experimental results on an NVIDIA A100 GPU demonstrate throughput exceeding the baseline single-sequence processing scheme: 3.06x speedup on the 1.4B model and 2.62x on the 2.8B model.

چکیده به فارسی (ترجمه ماشینی)

با تکامل مدل های زبان بزرگ ، مدل های ترانسفورماتور سنتی به دلیل رشد درجه دوم در محاسبات با توجه به طول دنباله ، از لحاظ محاسباتی برای توالی های طولانی خواستار محاسباتی می شوند.مامبا ، که به عنوان یک معماری پیشگام در زمینه هوش مصنوعی تولید می شود ، مهارت قابل توجهی در رسیدگی به توالی های دراز با کاهش پیچیدگی محاسباتی و حافظه نشان می دهد.با این وجود ، چارچوب آموزش موجود Mamba ناکارآمدی را با ورودی های توالی با طول متغیر نشان می دهد.هر دو آموزش یک توالی منجر به استفاده از GPU کم ، یا پردازش دسته ای از توالی های طول متغیر تا حداکثر طول ، حافظه و سربار محاسباتی قابل توجهی را متحمل می شود.برای پرداختن به این مشکل ، ما عملکرد اپراتورهای تنگنا در Mamba را با شکل های متنوع تنشور و Packmamba پیشنهادی ، یک مامبا با توان بالا که به طور مؤثر توالی های طول متغیر را کنترل می کند ، تجزیه و تحلیل می کنیم.غواصی در عمق مدل های فضای حالت (SSM) ، ما اپراتورهای موازی را اصلاح می کنیم تا ضمن حفظ عملکرد بالا ، از انتقال اطلاعات بین توالی های فردی جلوگیری کنیم.نتایج تجربی در یک پردازنده پردازنده NVIDIA A100 نشان دهنده بیش از طرح پردازش تک توالی پایه است: سرعت 3.06x در مدل 1.4B و 2.62X در مدل 2.8B.