ترجمه فارسی مقاله انتخاب دستیار آگاه از زمینه برای بهبود شتاب استنتاج با مدل‌های زبان بزرگ

چکیده

Despite their widespread adoption, large language models (LLMs) remain prohibitive to use under resource constraints, with their ever growing sizes only increasing the barrier for use. One noted issue is the high latency associated with auto-regressive generation, rendering large LLMs use dependent on advanced computing infrastructure. Assisted decoding, where a smaller draft model guides a larger target model’s generation, has helped alleviate this, but remains dependent on alignment between the two models. Thus if the draft model is insufficiently capable on some domain relative to the target model, performance can degrade. Alternatively, one can leverage multiple draft models to better cover the expertise of the target, but when multiple black-box draft models are available, selecting an assistant without details about its construction can be difficult. To better understand this decision making problem, we observe it as a contextual bandit, where a policy must choose a draft model based on a context. We show that even without prior knowledge of the draft models, creating an offline dataset from only outputs of independent draft/target models and training a policy over the alignment of these outputs can accelerate performance on multiple domains provided the candidates are effective. Further results show this to hold on various settings with multiple assisted decoding candidates, highlighting its flexibility and the advantageous role that such decision making can play.

چکیده به فارسی (ترجمه ماشینی)

علیرغم اتخاذ گسترده آنها ، مدل های بزرگ زبان (LLM) تحت محدودیت منابع ممنوع است و اندازه های روزافزون آنها فقط سد استفاده را افزایش می دهد.یک مسئله ذکر شده ، تأخیر بالا در ارتباط با تولید خودکار تهاجمی است و استفاده از LLM های بزرگ را به زیرساخت های محاسباتی پیشرفته وابسته می کند.رمزگشایی کمک شده ، جایی که یک مدل پیش نویس کوچکتر از نسل مدل بزرگتر راهنمایی می کند ، به کاهش این امر کمک کرده است ، اما همچنان به تراز بین این دو مدل وابسته است.بنابراین اگر مدل پیش نویس به اندازه کافی قادر به برخی از دامنه ها نسبت به مدل هدف نباشد ، عملکرد می تواند تخریب شود.از طرف دیگر ، می توان چندین مدل پیش نویس را برای پوشش بهتر تخصص هدف از آن استفاده کرد ، اما هنگامی که چندین مدل پیش نویس جعبه سیاه در دسترس است ، انتخاب یک دستیار بدون جزئیات در مورد ساخت آن می تواند دشوار باشد.برای درک بهتر این مشکل تصمیم گیری ، ما آن را به عنوان یک راهزن متنی مشاهده می کنیم ، جایی که یک سیاست باید یک مدل پیش نویس را بر اساس یک زمینه انتخاب کند.ما نشان می دهیم که حتی بدون آگاهی قبلی از پیش نویس مدل ها ، ایجاد یک مجموعه داده آفلاین از تنها خروجی های مدل های پیش نویس/هدف مستقل و آموزش یک سیاست برای تراز این خروجی ها می تواند عملکرد را در چندین حوزه تسریع کند به شرط اینکه نامزدها مؤثر باشند.نتایج بیشتر این نشان می دهد که برای تنظیم تنظیمات مختلف با نامزدهای رمزگشایی چندگانه ، انعطاف پذیری آن و نقش سودمند که چنین تصمیم گیری می تواند ایفا کند ، نشان می دهد.