کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
این محصول به صورت فایل دانلودی کامل ارائه میشود.
توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا
لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی: واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248 تلگرام: @ma_limbs
چکیده
The rapid growth in the parameters of large language models (LLMs) has made inference latency a fundamental bottleneck, limiting broader application of LLMs. Speculative decoding represents a lossless approach to accelerate inference through a guess-and-verify paradigm, leveraging the parallel capabilities of modern hardware. Some speculative decoding methods rely on additional structures to guess draft tokens, such as small models or parameter-efficient architectures, which need extra training before use. Alternatively, retrieval-based train-free techniques build libraries from pre-existing corpora or by n-gram generation. However, they face challenges like large storage requirements, time-consuming retrieval, and limited adaptability. Observing that candidate tokens generated during the decoding process are likely to reoccur in future sequences, we propose Token Recycling. This approach stores candidate tokens in an adjacency matrix and employs a breadth-first search (BFS)-like algorithm on the matrix to construct a draft tree. The tree is then validated through tree attention. New candidate tokens from the decoding process are then used to update the matrix. Token Recycling requires \textless2MB of additional storage and achieves approximately 2x speedup across all sizes of LLMs. It significantly outperforms existing train-free methods by 30\% and even a training method by 25\%. It can be directly applied to any existing LLMs and tasks without the need for adaptation.
چکیده به فارسی (ترجمه ماشینی)
رشد سریع در پارامترهای مدل های بزرگ زبان (LLMS) باعث شده است تا زمان تأخیر استنباط یک تنگنا اساسی باشد و کاربرد گسترده تری از LLM ها را محدود کند.رمزگشایی سوداگرانه بیانگر یک رویکرد بدون ضرر برای تسریع استنباط از طریق یک الگوی حدس و مهم است و از قابلیت های موازی سخت افزار مدرن استفاده می کند.برخی از روش های رمزگشایی سوداگرانه برای حدس زدن نشانه های پیش نویس ، مانند مدل های کوچک یا معماری های کارآمد پارامترها ، که قبل از استفاده به آموزش های اضافی نیاز دارند ، به ساختارهای اضافی متکی هستند.از طرف دیگر ، تکنیک های بدون قطار مبتنی بر بازیابی ، کتابخانه هایی را از شرکت های از قبل موجود یا توسط N-Gram تولید می کند.با این حال ، آنها با چالش هایی مانند نیازهای بزرگ ذخیره سازی ، بازیابی وقت گیر و سازگاری محدود روبرو هستند.با مشاهده اینکه نشانه های کاندیدای تولید شده در طی فرآیند رمزگشایی احتمالاً در توالی های بعدی دوباره انجام می شود ، ما بازیافت نشانه را پیشنهاد می کنیم.این رویکرد نشانه های کاندیداها را در یک ماتریس مجاور ذخیره می کند و از الگوریتم مانند جستجوی وسعت (BFS) مانند ماتریس برای ساختن یک درخت پیش نویس استفاده می کند.سپس درخت از طریق توجه درخت تأیید می شود.سپس از نشانه های نامزد جدید از فرآیند رمزگشایی برای به روزرسانی ماتریس استفاده می شود.بازیافت توکن به \ textless2mb از ذخیره اضافی نیاز دارد و تقریباً 2 برابر سرعت در اندازه های LLM ها به دست می آید.این به طور قابل توجهی از روشهای موجود بدون قطار 30 \ ٪ و حتی یک روش آموزش 25 ٪ بهتر است.این امر می تواند مستقیماً برای هر LLM و وظایف موجود بدون نیاز به سازگاری اعمال شود.
📚 محتوای این محصول آموزشی (پکیج کامل)
علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیقتر و تسلط کامل بر مباحث مجموعهای از کتابهای آموزشی نیز ارائه میشود.
کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
این محصول به صورت فایل دانلودی کامل ارائه میشود.
توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا
لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی: واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248 تلگرام: @ma_limbs
