ترجمه فارسی مقاله ترانسفورماتورها یادگیرندگان جهانی در متن هستند

چکیده

Transformers are deep architectures that define “in-context mappings” which enable predicting new tokens based on a given set of tokens (such as a prompt in NLP applications or a set of patches for vision transformers). This work studies in particular the ability of these architectures to handle an arbitrarily large number of context tokens. To mathematically and uniformly address the expressivity of these architectures, we consider the case that the mappings are conditioned on a context represented by a probability distribution of tokens (discrete for a finite number of tokens). The related notion of smoothness corresponds to continuity in terms of the Wasserstein distance between these contexts. We demonstrate that deep transformers are universal and can approximate continuous in-context mappings to arbitrary precision, uniformly over compact token domains. A key aspect of our results, compared to existing findings, is that for a fixed precision, a single transformer can operate on an arbitrary (even infinite) number of tokens. Additionally, it operates with a fixed embedding dimension of tokens (this dimension does not increase with precision) and a fixed number of heads (proportional to the dimension). The use of MLP layers between multi-head attention layers is also explicitly controlled.

چکیده به فارسی (ترجمه ماشینی)

ترانسفورماتورها معماری های عمیقی هستند که “نگاشتهای درون متن” را تعریف می کنند که پیش بینی نشانه های جدید را بر اساس مجموعه مشخصی از نشانه ها (مانند سریع در برنامه های NLP یا مجموعه ای از تکه ها برای ترانسفورماتورهای بینایی) امکان پذیر می کند.این کار به ویژه توانایی این معماری ها برای رسیدگی به تعداد زیادی از نشانه های متن را بررسی می کند.برای پرداختن به ریاضی و یکنواخت به بیان این معماری ها ، ما این مورد را در نظر می گیریم که نقشه ها بر روی زمینه ای که توسط توزیع احتمال توکن ها نشان داده شده است (گسسته برای تعداد محدودی از نشانه ها) است.مفهوم مربوط به صافی از نظر فاصله Wasserstein بین این زمینه ها با استمرار مطابقت دارد.ما نشان می دهیم که ترانسفورماتورهای عمیق جهانی هستند و می توانند نقشه برداری مداوم در داخل را به دقت خودسرانه ، به طور یکنواخت بر دامنه های توکن جمع و جور تقریب دهند.جنبه اصلی نتایج ما ، در مقایسه با یافته های موجود ، این است که برای دقت ثابت ، یک ترانسفورماتور واحد می تواند بر روی تعداد خودسرانه (حتی بی نهایت) توکن کار کند.علاوه بر این ، با یک بعد تعبیه شده ثابت نشانه ها (این بعد با دقت افزایش نمی یابد) و تعداد مشخصی از سرها (متناسب با بعد) عمل می کند.استفاده از لایه های MLP بین لایه های توجه چند سر نیز به صراحت کنترل می شود.