کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
این محصول به صورت فایل دانلودی کامل ارائه میشود.
توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا
لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی: واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248 تلگرام: @ma_limbs
چکیده
Transformer-based Large Language Models (LLMs) have become increasingly important. However, due to the quadratic time complexity of attention computation, scaling LLMs to longer contexts incurs extremely slow inference latency and high GPU memory consumption for caching key-value (KV) vectors. This paper proposes RetrievalAttention, a training-free approach to both accelerate attention computation and reduce GPU memory consumption. By leveraging the dynamic sparsity of attention mechanism, RetrievalAttention proposes to use approximate nearest neighbor search (ANNS) indexes for KV vectors in CPU memory and retrieves the most relevant ones with vector search during generation. Unfortunately, we observe that the off-the-shelf ANNS indexes are often ineffective for such retrieval tasks due to the out-of-distribution (OOD) between query vectors and key vectors in attention mechanism. RetrievalAttention addresses the OOD challenge by designing an attention-aware vector search algorithm that can adapt to the distribution of query vectors. Our evaluation shows that RetrievalAttention only needs to access 1--3% of data while maintaining high model accuracy. This leads to significant reduction in the inference cost of long-context LLMs with much lower GPU memory footprint. In particular, RetrievalAttention only needs a single NVIDIA RTX4090 (24GB) for serving 128K tokens in LLMs with 8B parameters, which is capable of generating one token in 0.188 seconds.
چکیده به فارسی (ترجمه ماشینی)
مدل های بزرگ زبان مبتنی بر ترانسفورماتور (LLM) به طور فزاینده ای اهمیت پیدا کرده اند.با این حال ، با توجه به پیچیدگی زمان درجه دوم محاسبه توجه ، مقیاس LLMS به زمینه های طولانی تر ، تأخیر استنباط بسیار کند و مصرف حافظه GPU بالا برای ذخیره بردارهای کلیدی (KV) را متحمل می شود.در این مقاله ، بازیابی ، یک رویکرد بدون آموزش برای هر دو سرعت محاسبه توجه و کاهش مصرف حافظه GPU پیشنهاد شده است.بازیابی با استفاده از استفاده از مکانیسم توجه پویا از مکانیسم توجه ، پیشنهاد می کند از فهرست های تقریبی نزدیکترین همسایه (ANNS) برای بردارهای KV در حافظه CPU استفاده کنید و مهمترین موارد را با جستجوی بردار در طول تولید بازیابی کنید.متأسفانه ، ما مشاهده می کنیم که شاخص های خارج از قفسه ANNS به دلیل توزیع خارج از توزیع (OOD) بین بردارهای پرس و جو و بردارهای کلیدی در مکانیسم توجه ، اغلب برای چنین کارهای بازیابی ناکارآمد هستند.بازیابی با طراحی یک الگوریتم جستجوی وکتور آگاه که می تواند با توزیع بردارهای پرس و جو سازگار باشد ، به چالش OOD می پردازد.ارزیابی ما نشان می دهد که بازیابی فقط باید ضمن حفظ دقت مدل بالا ، به 1-3 ٪ از داده ها دسترسی پیدا کند.این منجر به کاهش قابل توجهی در هزینه استنباط LLMS با متن طولانی با ردپای حافظه GPU بسیار پایین تر می شود.به طور خاص ، بازیابی فقط به یک NVIDIA RTX4090 (24 گیگابایت) برای ارائه خدمات 128K در LLMS با پارامترهای 8B نیاز دارد ، که قادر به ایجاد یک نشانه در 0.188 ثانیه است.
📚 محتوای این محصول آموزشی (پکیج کامل)
علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیقتر و تسلط کامل بر مباحث مجموعهای از کتابهای آموزشی نیز ارائه میشود.
کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
این محصول به صورت فایل دانلودی کامل ارائه میشود.
توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا
لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی: واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248 تلگرام: @ma_limbs
