مقاله توجه لاگ خطی-عادی با تمرکز بی طرفانه

چکیده

Transformer models have achieved remarkable results in a wide range of applications. However, their scalability is hampered by the quadratic time and memory complexity of the self-attention mechanism concerning the sequence length. This limitation poses a substantial obstacle when dealing with long documents or high-resolution images. In this work, we study the self-attention mechanism by analyzing the distribution of the attention matrix and its concentration ability. Furthermore, we propose instruments to measure these quantities and introduce a novel self-attention mechanism, Linear Log-Normal Attention, designed to emulate the distribution and concentration behavior of the original self-attention. Our experimental results on popular natural language benchmarks reveal that our proposed Linear Log-Normal Attention outperforms other linearized attention alternatives, offering a promising avenue for enhancing the scalability of transformer models. Our code is available in supplementary materials.

چکیده به فارسی (ترجمه ماشینی)

مدل های ترانسفورماتور در طیف گسترده ای از برنامه ها به نتایج قابل توجهی رسیده اند.با این حال ، مقیاس پذیری آنها توسط زمان درجه دوم و پیچیدگی حافظه مکانیسم خودآگاهی در مورد طول دنباله مانع می شود.این محدودیت هنگام برخورد با اسناد طولانی یا تصاویر با وضوح بالا ، مانع قابل توجهی را ایجاد می کند.در این کار ، ما مکانیسم خود را با تجزیه و تحلیل توزیع ماتریس توجه و توانایی غلظت آن بررسی می کنیم.علاوه بر این ، ما ابزارهایی را برای اندازه گیری این مقادیر و معرفی یک مکانیسم جدید توجه خود ، توجه خطی به صورت خطی ، طراحی شده برای تقلید از توزیع و رفتار غلظت خودآزمایی اصلی پیشنهاد می کنیم.نتایج تجربی ما در معیارهای محبوب زبان طبیعی نشان می دهد که توجه خطی خطی پیشنهادی ما از سایر گزینه های توجه خطی استفاده می کند و یک خیابان امیدوار کننده برای تقویت مقیاس پذیری مدل های ترانسفورماتور ارائه می دهد.کد ما در مواد تکمیلی موجود است.