ترجمه فارسی مقاله ترانسفورماتورها به SSMS: تقطیر دانش درجه دوم به مدلهای زیر مجموعه

چکیده

Transformer architectures have become a dominant paradigm for domains like language modeling but suffer in many inference settings due to their quadratic-time self-attention. Recently proposed subquadratic architectures, such as Mamba, have shown promise, but have been pretrained with substantially less computational resources than the strongest Transformer models. In this work, we present a method that is able to distill a pretrained Transformer architecture into alternative architectures such as state space models (SSMs). The key idea to our approach is that we can view both Transformers and SSMs as applying different forms of mixing matrices over the token sequences. We can thus progressively distill the Transformer architecture by matching different degrees of granularity in the SSM: first matching the mixing matrices themselves, then the hidden units at each block, and finally the end-to-end predictions. Our method, called MOHAWK, is able to distill a Mamba-2 variant based on the Phi-1.5 architecture (Phi-Mamba) using only 3B tokens and a hybrid version (Hybrid Phi-Mamba) using 5B tokens. Despite using less than 1% of the training data typically used to train models from scratch, Phi-Mamba boasts substantially stronger performance compared to all past open-source non-Transformer models. MOHAWK allows models like SSMs to leverage computational resources invested in training Transformer-based architectures, highlighting a new avenue for building such models.

چکیده به فارسی (ترجمه ماشینی)

معماری های ترانسفورماتور به یک الگوی غالب برای دامنه هایی مانند مدل سازی زبان تبدیل شده اند اما به دلیل توجه خود در زمان درجه دوم در بسیاری از تنظیمات استنباط رنج می برند.به تازگی ، معماری های زیرکادراتیک پیشنهادی ، مانند مامبا ، نوید خود را نشان داده اند ، اما با منابع محاسباتی قابل ملاحظه ای کمتر از قوی ترین مدل های ترانسفورماتور پیش بینی شده اند.در این کار ، ما روشی را ارائه می دهیم که بتواند معماری ترانسفورماتور پیش ساخته را به معماری های جایگزین مانند مدل های فضایی دولتی (SSM) تقطیر کند.ایده اصلی رویکرد ما این است که می توانیم هم ترانسفورمرها و هم SSM ها را به عنوان استفاده از اشکال مختلف ماتریس مخلوط کردن بر روی توالی توکن مشاهده کنیم.بنابراین ما می توانیم به تدریج معماری ترانسفورماتور را با تطبیق درجات مختلف دانه بندی در SSM تقطیر کنیم: ابتدا خود ماتریس های اختلاط ، سپس واحدهای پنهان در هر بلوک و در نهایت پیش بینی های پایان به پایان.روش ما ، به نام Mohawk ، قادر است یک نوع MAMBA-2 را بر اساس معماری PHI-1.5 (Phi-Mamba) با استفاده از فقط 3B توکن و یک نسخه ترکیبی (هیبریدی Phi-Mamba) با استفاده از نشانه های 5B تقطیر کند.با وجود استفاده از کمتر از 1 ٪ از داده های آموزشی که معمولاً برای آموزش مدل ها از ابتدا استفاده می شود ، Phi-Mamba نسبت به تمام مدلهای غیر ترانسفورماتور منبع باز از عملکرد بسیار قوی تری برخوردار است.Mohawk به مدلهایی مانند SSM اجازه می دهد تا از منابع محاسباتی سرمایه گذاری شده در آموزش معماری های مبتنی بر ترانسفورماتور استفاده کنند و یک راه جدید برای ساخت چنین مدل هایی را برجسته کنند.