ترجمه فارسی مقاله HeTraX: معماری چند هسته‌ای ناهمگن سه‌بعدی با بهره‌وری انرژی بالا برای شتاب‌دهی ترانسفورماتور

چکیده

Transformers have revolutionized deep learning and generative modeling to enable unprecedented advancements in natural language processing tasks and beyond. However, designing hardware accelerators for executing transformer models is challenging due to the wide variety of computing kernels involved in the transformer architecture. Existing accelerators are either inadequate to accelerate end-to-end transformer models or suffer notable thermal limitations. In this paper, we propose the design of a three-dimensional heterogeneous architecture referred to as HeTraX specifically optimized to accelerate end-to-end transformer models. HeTraX employs hardware resources aligned with the computational kernels of transformers and optimizes both performance and energy. Experimental results show that HeTraX outperforms existing state-of-the-art by up to 5.6x in speedup and improves EDP by 14.5x while ensuring thermally feasibility.

چکیده به فارسی (ترجمه ماشینی)

ترانسفورماتورها یادگیری عمیق و مدل سازی تولیدی را متحول کرده اند تا پیشرفت های بی سابقه ای را در کارهای پردازش زبان طبیعی و فراتر از آن فراهم کنند.با این حال ، طراحی شتاب دهنده های سخت افزاری برای اجرای مدل های ترانسفورماتور به دلیل طیف گسترده ای از هسته های محاسباتی درگیر در معماری ترانسفورماتور ، چالش برانگیز است.شتاب دهنده های موجود یا برای تسریع در مدل های ترانسفورماتور پایان به پایان ناکافی هستند یا از محدودیت های حرارتی قابل توجه رنج می برند.در این مقاله ، ما طراحی یک معماری ناهمگن سه بعدی را که به عنوان Hetrax به طور خاص بهینه شده برای تسریع در مدل های ترانسفورماتور پایان به انتها پیشنهاد می کنیم ، پیشنهاد می کنیم.Hetrax از منابع سخت افزاری تراز شده با هسته محاسباتی ترانسفورماتورها استفاده می کند و هم عملکرد و هم بهینه می شود.نتایج تجربی نشان می دهد که Hetrax از پیشرفته ترین پیشرفت های موجود در سرعت 5.6 برابر در سرعت استفاده می کند و EDP را با 14.5 برابر بهبود می بخشد و ضمن اطمینان از امکان سنجی حرارتی.