MAPress
مقاله توجه لاگ خطی-عادی با تمرکز بی طرفانه

مقاله توجه لاگ خطی-عادی با تمرکز بی طرفانه

تگ‌ها: Artificial Intelligence Machine Learning هوش مصنوعی یادگیری ماشین

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

عنوان مقاله به انگلیسی Linear Log-Normal Attention with Unbiased Concentration
عنوان مقاله به فارسی مقاله توجه لاگ نرمال خطی با تجمع بدون سوگیری
نویسندگان Yury Nahshan, Joseph Kampeas, Emir Haleva
زبان مقاله انگلیسی
فرمت مقاله: PDF
تعداد صفحات 0
دسته بندی موضوعات Machine Learning,Artificial Intelligence,یادگیری ماشین , هوش مصنوعی ,
توضیحات Submitted 22 November, 2023; originally announced November 2023. , Comments: 22 pages, 20 figures, 5 tables, submitted to ICLR2024 , ACM Class: I.7.0; G.3
توضیحات به فارسی ارسال شده 22 نوامبر 2023 ؛در ابتدا نوامبر 2023 اعلام شد ، نظرات: 22 صفحه ، 20 شکل ، 5 جدول ، ارسال شده به ICLR2024 ، کلاس ACM: I.7.0 ؛G.3

چکیده

Transformer models have achieved remarkable results in a wide range of applications. However, their scalability is hampered by the quadratic time and memory complexity of the self-attention mechanism concerning the sequence length. This limitation poses a substantial obstacle when dealing with long documents or high-resolution images. In this work, we study the self-attention mechanism by analyzing the distribution of the attention matrix and its concentration ability. Furthermore, we propose instruments to measure these quantities and introduce a novel self-attention mechanism, Linear Log-Normal Attention, designed to emulate the distribution and concentration behavior of the original self-attention. Our experimental results on popular natural language benchmarks reveal that our proposed Linear Log-Normal Attention outperforms other linearized attention alternatives, offering a promising avenue for enhancing the scalability of transformer models. Our code is available in supplementary materials.

چکیده به فارسی (ترجمه ماشینی)

مدل های ترانسفورماتور در طیف گسترده ای از برنامه ها به نتایج قابل توجهی رسیده اند.با این حال ، مقیاس پذیری آنها توسط زمان درجه دوم و پیچیدگی حافظه مکانیسم خودآگاهی در مورد طول دنباله مانع می شود.این محدودیت هنگام برخورد با اسناد طولانی یا تصاویر با وضوح بالا ، مانع قابل توجهی را ایجاد می کند.در این کار ، ما مکانیسم خود را با تجزیه و تحلیل توزیع ماتریس توجه و توانایی غلظت آن بررسی می کنیم.علاوه بر این ، ما ابزارهایی را برای اندازه گیری این مقادیر و معرفی یک مکانیسم جدید توجه خود ، توجه خطی به صورت خطی ، طراحی شده برای تقلید از توزیع و رفتار غلظت خودآزمایی اصلی پیشنهاد می کنیم.نتایج تجربی ما در معیارهای محبوب زبان طبیعی نشان می دهد که توجه خطی خطی پیشنهادی ما از سایر گزینه های توجه خطی استفاده می کند و یک خیابان امیدوار کننده برای تقویت مقیاس پذیری مدل های ترانسفورماتور ارائه می دهد.کد ما در مواد تکمیلی موجود است.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.