ترجمه فارسی مقاله توجه یک حلقه مکعب صاف است

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

عنوان مقاله به انگلیسی Attention is a smoothed cubic spline
عنوان مقاله به فارسی توجه یک حلقه مکعب صاف است
نویسندگان Zehua Lai, Lek-Heng Lim, Yucong Liu
فرمت مقاله انگلیسی PDF
تعداد صفحات 20
لینک دانلود رایگان مقاله انگلیسی دانلود مقاله
دسته بندی موضوعات Artificial Intelligence,Machine Learning,Numerical Analysis,هوش مصنوعی , یادگیری ماشین , تحلیل عددی ,
توضیحات Submitted 18 August, 2024; originally announced August 2024. , Comments: 20 pages, 2 figures , MSC Class: 26B40; 41A15; 65D07; 68T01; 14P10; 13J30
توضیحات به فارسی ارائه شده در 18 اوت 2024 ؛در ابتدا اوت 2024 اعلام شد ، نظرات: 20 صفحه ، 2 شکل ، کلاس MSC: 26B40 ؛41A15 ؛65d07 ؛68T01 ؛14p10 ؛13J30
اطلاعات بیشتر از این مقاله در پایگاه های علمی INSPIRE HEP
NASA ADS
Google Scholar
Semantic Scholar

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

چکیده

We highlight a perhaps important but hitherto unobserved insight: The attention module in a transformer is a smoothed cubic spline. Viewed in this manner, this mysterious but critical component of a transformer becomes a natural development of an old notion deeply entrenched in classical approximation theory. More precisely, we show that with ReLU-activation, attention, masked attention, encoder-decoder attention are all cubic splines. As every component in a transformer is constructed out of compositions of various attention modules (= cubic splines) and feed forward neural networks (= linear splines), all its components -- encoder, decoder, and encoder-decoder blocks; multilayered encoders and decoders; the transformer itself -- are cubic or higher-order splines. If we assume the Pierce-Birkhoff conjecture, then the converse also holds, i.e., every spline is a ReLU-activated encoder. Since a spline is generally just $C^2$, one way to obtain a smoothed $C^\infty$-version is by replacing ReLU with a smooth activation; and if this activation is chosen to be SoftMax, we recover the original transformer as proposed by Vaswani et al. This insight sheds light on the nature of the transformer by casting it entirely in terms of splines, one of the best known and thoroughly understood objects in applied mathematics.

چکیده به فارسی (ترجمه ماشینی)

ما یک بینش مهم اما تا کنون بدون نظارت را برجسته می کنیم: ماژول توجه در یک ترانسفورماتور یک اسپین مکعب صاف است.به این شیوه ، این مؤلفه مرموز اما مهم یک ترانسفورماتور به یک توسعه طبیعی یک مفهوم قدیمی تبدیل می شود که عمیقاً در نظریه تقریبی کلاسیک وارد شده است.به طور دقیق تر ، ما نشان می دهیم که با فعال سازی Relu ، توجه ، توجه ماسک ، توجه رمزگذار رمزگذار همه اسپلین های مکعب هستند.همانطور که هر مؤلفه در یک ترانسفورماتور از ترکیبات ماژول های مختلف توجه (= اسپلین های مکعب) ساخته شده و شبکه های عصبی را به جلو (= اسپلین های خطی) تغذیه می کند ، تمام اجزای آن-رمزگذار ، رمزگذار و بلوک های رمزگذار-دکوراسیون.رمزگذارهای چند لایه و رمزگشایی ؛خود ترانسفورماتور-اسپلین های مکعب یا بالاتر هستند.اگر حدس پیرس-بیرخف را فرض کنیم ، آنگاه Converse نیز در آن وجود دارد ، یعنی هر اسپلین یک رمزگذار فعال شده با Relu است.از آنجا که یک spline به طور کلی فقط $ c^2 $ است ، یک راه برای به دست آوردن یک $ c^\ infty $-version با جایگزینی RELU با یک فعال سازی صاف است.و اگر این فعال سازی به عنوان SoftMax انتخاب شود ، ما ترانسفورماتور اصلی را مطابق پیشنهاد Vaswani و همکاران بازیابی می کنیم.این بینش با ریختن آن کاملاً از نظر اسپلین ، یکی از اشیاء شناخته شده و کاملاً درک شده در ریاضیات کاربردی ، ماهیت ترانسفورماتور را روشن می کند.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.