کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
این محصول به صورت فایل دانلودی کامل ارائه میشود.
توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا
لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی: واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248 تلگرام: @ma_limbs
چکیده
Transformer architectures have become a dominant paradigm for domains like language modeling but suffer in many inference settings due to their quadratic-time self-attention. Recently proposed subquadratic architectures, such as Mamba, have shown promise, but have been pretrained with substantially less computational resources than the strongest Transformer models. In this work, we present a method that is able to distill a pretrained Transformer architecture into alternative architectures such as state space models (SSMs). The key idea to our approach is that we can view both Transformers and SSMs as applying different forms of mixing matrices over the token sequences. We can thus progressively distill the Transformer architecture by matching different degrees of granularity in the SSM: first matching the mixing matrices themselves, then the hidden units at each block, and finally the end-to-end predictions. Our method, called MOHAWK, is able to distill a Mamba-2 variant based on the Phi-1.5 architecture (Phi-Mamba) using only 3B tokens and a hybrid version (Hybrid Phi-Mamba) using 5B tokens. Despite using less than 1% of the training data typically used to train models from scratch, Phi-Mamba boasts substantially stronger performance compared to all past open-source non-Transformer models. MOHAWK allows models like SSMs to leverage computational resources invested in training Transformer-based architectures, highlighting a new avenue for building such models.
چکیده به فارسی (ترجمه ماشینی)
معماری های ترانسفورماتور به یک الگوی غالب برای دامنه هایی مانند مدل سازی زبان تبدیل شده اند اما به دلیل توجه خود در زمان درجه دوم در بسیاری از تنظیمات استنباط رنج می برند.به تازگی ، معماری های زیرکادراتیک پیشنهادی ، مانند مامبا ، نوید خود را نشان داده اند ، اما با منابع محاسباتی قابل ملاحظه ای کمتر از قوی ترین مدل های ترانسفورماتور پیش بینی شده اند.در این کار ، ما روشی را ارائه می دهیم که بتواند معماری ترانسفورماتور پیش ساخته را به معماری های جایگزین مانند مدل های فضایی دولتی (SSM) تقطیر کند.ایده اصلی رویکرد ما این است که می توانیم هم ترانسفورمرها و هم SSM ها را به عنوان استفاده از اشکال مختلف ماتریس مخلوط کردن بر روی توالی توکن مشاهده کنیم.بنابراین ما می توانیم به تدریج معماری ترانسفورماتور را با تطبیق درجات مختلف دانه بندی در SSM تقطیر کنیم: ابتدا خود ماتریس های اختلاط ، سپس واحدهای پنهان در هر بلوک و در نهایت پیش بینی های پایان به پایان.روش ما ، به نام Mohawk ، قادر است یک نوع MAMBA-2 را بر اساس معماری PHI-1.5 (Phi-Mamba) با استفاده از فقط 3B توکن و یک نسخه ترکیبی (هیبریدی Phi-Mamba) با استفاده از نشانه های 5B تقطیر کند.با وجود استفاده از کمتر از 1 ٪ از داده های آموزشی که معمولاً برای آموزش مدل ها از ابتدا استفاده می شود ، Phi-Mamba نسبت به تمام مدلهای غیر ترانسفورماتور منبع باز از عملکرد بسیار قوی تری برخوردار است.Mohawk به مدلهایی مانند SSM اجازه می دهد تا از منابع محاسباتی سرمایه گذاری شده در آموزش معماری های مبتنی بر ترانسفورماتور استفاده کنند و یک راه جدید برای ساخت چنین مدل هایی را برجسته کنند.
📚 محتوای این محصول آموزشی (پکیج کامل)
علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیقتر و تسلط کامل بر مباحث مجموعهای از کتابهای آموزشی نیز ارائه میشود.
کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
این محصول به صورت فایل دانلودی کامل ارائه میشود.
توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا
لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی: واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248 تلگرام: @ma_limbs
