کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
این محصول به صورت فایل دانلودی کامل ارائه میشود.
توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا
لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی: واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248 تلگرام: @ma_limbs
چکیده
The inference process for large language models is slow and memory-intensive, with one of the most critical bottlenecks being excessive Key-Value (KV) cache accesses. This paper introduces "Double Sparsity," a novel post-training sparse attention technique designed to alleviate this bottleneck by reducing KV cache access. Double Sparsity combines token sparsity, which focuses on utilizing only the important tokens for computing self-attention, with channel sparsity, an approach that uses important feature channels for identifying important tokens. Our key insight is that the pattern of channel sparsity is relatively static, allowing us to use offline calibration to make it efficient at runtime, thereby enabling accurate and efficient identification of important tokens. Moreover, this method can be combined with offloading to achieve significant memory usage reduction. Experimental results demonstrate that Double Sparsity can achieve $\frac{1}{16}$ token and channel sparsity with minimal impact on accuracy across various tasks, including wiki-2 perplexity, key-value retrieval, and long context benchmarks with models including Llama-2-7B, Llama-2-70B, and Mixtral-8x7B. It brings up to a 14.1$\times$ acceleration in attention operations and a 1.9$\times$ improvement in end-to-end inference on GPUs. With offloading, it achieves a decoding speed acceleration of 16.3$\times$ compared to state-of-the-art solutions at a sequence length of 256K. Our code is publicly available at https://github.com/andy-yang-1/DoubleSparse.
چکیده به فارسی (ترجمه ماشینی)
فرآیند استنباط برای مدلهای بزرگ زبان آهسته و با حافظه پر است و یکی از مهمترین تنگناها به حافظه نهان بیش از حد کلید (KV) دسترسی دارد.در این مقاله "مضاعف دوتایی" ، یک تکنیک توجه پراکنده پس از آموزش طراحی شده است که برای کاهش این تنگنا با کاهش دسترسی به حافظه پنهان KV طراحی شده است.مضاعف دوتایی ترکیبات پراکنده توکن را ترکیب می کند ، که بر استفاده از تنها نشانه های مهم برای محاسبه خودآگاهی ، با کمبود کانال متمرکز است ، رویکردی که از کانال های مهم برای شناسایی نشانه های مهم استفاده می کند.بینش اصلی ما این است که الگوی کمبود کانال نسبتاً استاتیک است و به ما امکان می دهد از کالیبراسیون آفلاین استفاده کنیم تا آن را در زمان اجرا کارآمد کنیم و از این طریق شناسایی دقیق و کارآمد نشانه های مهم را امکان پذیر کنیم.علاوه بر این ، این روش برای دستیابی به کاهش قابل توجه استفاده از حافظه می تواند با بارگیری ترکیب شود.نتایج تجربی نشان می دهد که پراکندگی مضاعف می تواند به $ \ frac {1} {16} $ $ $ $ $ و کانال با حداقل تأثیر بر دقت در کارهای مختلف ، از جمله دفع ویکی -2 ، بازیابی ارزش کلیدی و معیارهای طولانی زمینه با مدل هایی از جمله LLAMA دست یابد.-2-7B ، Llama-2-70B و Mixtral-8x7B.این شتاب 14.1 $ \ برابر $ در عملیات توجه و پیشرفت 1.9 $ \ $ $ در استنتاج پایان به پایان در GPU ها را به همراه می آورد.با بارگیری ، آن را به شتاب سرعت رمزگشایی 16.3 $ \ برابر $ در مقایسه با راه حل های پیشرفته در طول دنباله 256k می رساند.کد ما به صورت عمومی در https://github.com/andy-yang-1/doublesparse در دسترس است.
📚 محتوای این محصول آموزشی (پکیج کامل)
علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیقتر و تسلط کامل بر مباحث مجموعهای از کتابهای آموزشی نیز ارائه میشود.
کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
این محصول به صورت فایل دانلودی کامل ارائه میشود.
توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا
لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی: واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248 تلگرام: @ma_limbs
