ترجمه فارسی مقاله افزایش طول توکن ترانسفورماتور با یک روش اصلی آنتروپی

چکیده

Transformers suffer from the computational overhead of their quadratic dependence on the length of sequences processed. We present three methods, all adding an intermediate step between training and inference/generation, which extend the autoregressive length of transformers. All rely on a Maximum Entropy Principle (MEP) whereby entropy is maximized in the presence of suitable constraints, accounted for by use of Lagrange Multipliers. These constraint methods extend the autoregressive character from T to 2T tokens in a linear-with-T fashion. There is overhead associated with this added step, but they should still be faster than the standard methods.

چکیده به فارسی (ترجمه ماشینی)

ترانسفورماتورها از سربار محاسباتی وابستگی درجه دوم خود به طول توالی های پردازش شده رنج می برند.ما سه روش ارائه می دهیم ، همه یک مرحله متوسط ​​بین آموزش و استنباط/تولید ، که طول خودکار ترانسفورماتورها را افزایش می دهد.همه به یک اصل آنتروپی حداکثر (MEP) متکی هستند که به موجب آن آنتروپی در حضور محدودیت های مناسب به حداکثر می رسد ، که با استفاده از ضرب های Lagrange به حساب می آید.این روشهای محدودیت شخصیت خودکار را از نشانه های T به 2T به صورت خطی بدون T گسترش می دهد.سربار با این مرحله اضافه شده وجود دارد ، اما آنها هنوز هم باید سریعتر از روش های استاندارد باشند.