ترجمه فارسی مقاله رمزگشایی انتشار گمانه‌زننده: تسریع تولید زبان از طریق انتشار

چکیده

Speculative decoding has emerged as a widely adopted method to accelerate large language model inference without sacrificing the quality of the model outputs. While this technique has facilitated notable speed improvements by enabling parallel sequence verification, its efficiency remains inherently limited by the reliance on incremental token generation in existing draft models. To overcome this limitation, this paper proposes an adaptation of speculative decoding which uses discrete diffusion models to generate draft sequences. This allows parallelization of both the drafting and verification steps, providing significant speed-ups to the inference process. Our proposed approach, Speculative Diffusion Decoding (SpecDiff), is validated on standard language generation benchmarks and empirically demonstrated to provide a up to 8.7x speed-up over standard generation processes and up to 2.5x speed-up over existing speculative decoding approaches.

چکیده به فارسی (ترجمه ماشینی)

رمزگشایی سوداگرانه به عنوان روشی گسترده اتخاذ شده برای تسریع استنباط مدل زبان بزرگ بدون قربانی کردن کیفیت خروجی های مدل پدید آمده است.در حالی که این تکنیک با فعال کردن تأیید توالی موازی ، پیشرفت های قابل توجه را تسهیل کرده است ، راندمان آن با اتکا به تولید توکن افزایشی در مدلهای پیش نویس موجود ذاتاً محدود می شود.برای غلبه بر این محدودیت ، این مقاله اقتباسی از رمزگشایی سوداگرانه را ارائه می دهد که از مدل های انتشار گسسته برای تولید توالی پیش نویس استفاده می کند.این اجازه می دهد تا موازی سازی هر دو مرحله پیش نویس و تأیید ، سرعت قابل توجهی را برای فرآیند استنتاج فراهم کند.رویکرد پیشنهادی ما ، رمزگشایی انتشار سوداگرانه (SPECDIFF) ، در معیارهای تولید زبان استاندارد تأیید شده و به صورت تجربی نشان داده شده است تا حداکثر 8.7 برابر سرعت را نسبت به فرآیندهای تولید استاندارد و حداکثر سرعت 2.5 برابر نسبت به رویکردهای رمزگشایی سوداگرانه موجود ارائه دهد.