ترجمه فارسی مقاله تسریع استنتاج مدل زبانی بزرگ با خروج‌های زودهنگام خودنظارتی

چکیده

This paper presents a novel technique for accelerating inference in large, pre-trained language models (LLMs) by introducing early exits during inference. The computational demands of these models, used across a wide range of applications, can be substantial. By capitalizing on the inherent variability in token complexity, our approach enables selective acceleration of the inference process. Specifically, we propose the integration of early exit ”heads” atop existing transformer layers, which facilitate conditional terminations based on a confidence metric. These heads are trained in a self-supervised manner using the model’s own predictions as training data, thereby eliminating the need for additional annotated data. The confidence metric, established using a calibration set, ensures a desired level of accuracy while enabling early termination when confidence exceeds a predetermined threshold. Notably, our method preserves the original accuracy and reduces computational time on certain tasks, leveraging the existing knowledge of pre-trained LLMs without requiring extensive retraining. This lightweight, modular modification has the potential to greatly enhance the practical usability of LLMs, particularly in applications like real-time language processing in resource-constrained environments.

چکیده به فارسی (ترجمه ماشینی)

در این مقاله یک تکنیک جدید برای تسریع استنباط در مدل های بزرگ و از قبل آموزش یافته (LLMS) با معرفی خروج های اولیه در هنگام استنتاج ارائه شده است.خواسته های محاسباتی این مدل ها ، که در طیف گسترده ای از برنامه ها استفاده می شوند ، می توانند قابل توجه باشند.رویکرد ما با سرمایه گذاری بر تغییرپذیری ذاتی در پیچیدگی توکن ، شتاب انتخابی فرآیند استنباط را امکان پذیر می کند.به طور خاص ، ما ادغام “سرهای” خروجی اولیه را در بالای لایه های ترانسفورماتور موجود پیشنهاد می کنیم ، که خاتمه های مشروط را بر اساس یک متریک اعتماد به نفس تسهیل می کند.این سرها با استفاده از پیش بینی های خود مدل به عنوان داده های آموزشی به صورت خودسور آموزش دیده می شوند و از این طریق نیاز به داده های حاشیه نویسی اضافی را از بین می برند.متریک اعتماد به نفس ، که با استفاده از یک مجموعه کالیبراسیون ایجاد شده است ، یک سطح از دقت مطلوب را تضمین می کند در حالی که باعث خاتمه زودرس می شود وقتی اعتماد به نفس از آستانه از پیش تعیین شده فراتر رود.نکته قابل توجه ، روش ما دقت اصلی را حفظ می کند و زمان محاسباتی را در برخی کارها کاهش می دهد و دانش موجود LLM های از پیش آموزش داده شده را بدون نیاز به آموزش گسترده انجام می دهد.این اصلاح سبک وزن ، ماژولار این پتانسیل را دارد که قابلیت استفاده عملی LLM ها را تا حد زیادی افزایش دهد ، به ویژه در برنامه هایی مانند پردازش زبان در زمان واقعی در محیط های دارای منابع.