ترجمه فارسی مقاله توجه یک حلقه مکعب صاف است

چکیده

We highlight a perhaps important but hitherto unobserved insight: The attention module in a transformer is a smoothed cubic spline. Viewed in this manner, this mysterious but critical component of a transformer becomes a natural development of an old notion deeply entrenched in classical approximation theory. More precisely, we show that with ReLU-activation, attention, masked attention, encoder-decoder attention are all cubic splines. As every component in a transformer is constructed out of compositions of various attention modules (= cubic splines) and feed forward neural networks (= linear splines), all its components — encoder, decoder, and encoder-decoder blocks; multilayered encoders and decoders; the transformer itself — are cubic or higher-order splines. If we assume the Pierce-Birkhoff conjecture, then the converse also holds, i.e., every spline is a ReLU-activated encoder. Since a spline is generally just $C^2$, one way to obtain a smoothed $C^\infty$-version is by replacing ReLU with a smooth activation; and if this activation is chosen to be SoftMax, we recover the original transformer as proposed by Vaswani et al. This insight sheds light on the nature of the transformer by casting it entirely in terms of splines, one of the best known and thoroughly understood objects in applied mathematics.

چکیده به فارسی (ترجمه ماشینی)

ما یک بینش مهم اما تا کنون بدون نظارت را برجسته می کنیم: ماژول توجه در یک ترانسفورماتور یک اسپین مکعب صاف است.به این شیوه ، این مؤلفه مرموز اما مهم یک ترانسفورماتور به یک توسعه طبیعی یک مفهوم قدیمی تبدیل می شود که عمیقاً در نظریه تقریبی کلاسیک وارد شده است.به طور دقیق تر ، ما نشان می دهیم که با فعال سازی Relu ، توجه ، توجه ماسک ، توجه رمزگذار رمزگذار همه اسپلین های مکعب هستند.همانطور که هر مؤلفه در یک ترانسفورماتور از ترکیبات ماژول های مختلف توجه (= اسپلین های مکعب) ساخته شده و شبکه های عصبی را به جلو (= اسپلین های خطی) تغذیه می کند ، تمام اجزای آن-رمزگذار ، رمزگذار و بلوک های رمزگذار-دکوراسیون.رمزگذارهای چند لایه و رمزگشایی ؛خود ترانسفورماتور-اسپلین های مکعب یا بالاتر هستند.اگر حدس پیرس-بیرخف را فرض کنیم ، آنگاه Converse نیز در آن وجود دارد ، یعنی هر اسپلین یک رمزگذار فعال شده با Relu است.از آنجا که یک spline به طور کلی فقط $ c^2 $ است ، یک راه برای به دست آوردن یک $ c^\ infty $-version با جایگزینی RELU با یک فعال سازی صاف است.و اگر این فعال سازی به عنوان SoftMax انتخاب شود ، ما ترانسفورماتور اصلی را مطابق پیشنهاد Vaswani و همکاران بازیابی می کنیم.این بینش با ریختن آن کاملاً از نظر اسپلین ، یکی از اشیاء شناخته شده و کاملاً درک شده در ریاضیات کاربردی ، ماهیت ترانسفورماتور را روشن می کند.