ترجمه فارسی مقاله توجه درختی: رمزگشایی آگاه از توپولوژی برای توجه طولانی مدت در خوشه‌های GPU

چکیده

Self-attention is the core mathematical operation of modern transformer architectures and is also a significant computational bottleneck due to its quadratic complexity in the sequence length. In this work, we derive the scalar energy function whose gradient computes the self-attention block, thus elucidating the theoretical underpinnings of self-attention, providing a Bayesian interpretation of the operation and linking it closely with energy-based models such as Hopfield Networks. Our formulation reveals that the reduction across the sequence axis can be efficiently computed in parallel through a tree reduction. Our algorithm, for parallelizing attention computation across multiple GPUs enables cross-device decoding to be performed asymptotically faster (up to 8x faster in our experiments) than alternative approaches such as Ring Attention, while also requiring significantly less communication volume and incurring 2x less peak memory. Our code is publicly available here: url{https://github.com/Zyphra/tree_attention}.

چکیده به فارسی (ترجمه ماشینی)

خود توجه ، عملکرد ریاضی اصلی معماری های ترانسفورماتور مدرن است و همچنین یک تنگنا محاسباتی قابل توجه به دلیل پیچیدگی درجه دوم آن در طول دنباله است.در این کار ، ما عملکرد انرژی مقیاس را به دست می آوریم که شیب آن بلوک خودآگاهی را محاسبه می کند ، بنابراین زیربنای نظری خود را مورد توجه قرار می دهد ، تفسیر بیزی از این عملیات را ارائه می دهد و آن را از نزدیک با مدلهای مبتنی بر انرژی مانند شبکه هاپفیلد پیوند می دهد.فرمولاسیون ما نشان می دهد که کاهش در محور توالی می تواند به طور موازی از طریق کاهش درخت محاسبه شود.الگوریتم ما ، برای موازی سازی محاسبات توجه در چندین GPU ، رمزگشایی متقابل دستگاه را به صورت بدون علامت سریعتر (حداکثر 8 برابر سریعتر در آزمایشات ما) انجام می دهد تا از رویکردهای جایگزین مانند توجه حلقه ، در عین حال نیاز به حجم ارتباطی قابل توجهی کمتری داشته و حافظه 2x کمتر اوج را متحمل می کندبشرکد ما در اینجا به صورت عمومی در دسترس است: url {https://github.com/zyphra/tree_attention.