ترجمه فارسی مقاله مقیاس‌بندی محاسبات یادگیری عمیق روی پردازنده هوشمند متصل بین هسته‌ای

چکیده

As AI chips incorporate numerous parallelized cores to scale deep learning (DL) computing, inter-core communication is enabled recently by employing high-bandwidth and low-latency interconnect links on the chip (e.g., Graphcore IPU). It allows each core to directly access the fast scratchpad memory in other cores, which enables new parallel computing paradigms. However, without proper support for the scalable inter-core connections in current DL compilers, it is hard for developers to exploit the benefits of this new architecture. We present T10, the first DL compiler to exploit the inter-core communication bandwidth and distributed on-chip memory on AI chips. To formulate the computation and communication patterns of tensor operators in this new architecture, T10 introduces a distributed tensor abstraction rTensor. T10 maps a DNN model to execution plans with a generalized compute-shift pattern, by partitioning DNN computation into sub-operators and mapping them to cores, so that the cores can exchange data following predictable patterns. T10 makes globally optimized trade-offs between on-chip memory consumption and inter-core communication overhead, selects the best execution plan from a vast optimization space, and alleviates unnecessary inter-core communications. Our evaluation with a real inter-core connected AI chip, the Graphcore IPU, shows up to 3.3$times$ performance improvement, and scalability support for larger models, compared to state-of-the-art DL compilers and vendor libraries.

چکیده به فارسی (ترجمه ماشینی)

از آنجا که تراشه های هوش مصنوعی هسته های موازی متعددی را برای محاسبات یادگیری عمیق (DL) درج می کنند ، ارتباطات بین هسته ای اخیراً با استفاده از پیوندهای اتصال باند بالا و کم تأخیر در تراشه (به عنوان مثال ، IPU Graphcore) فعال می شود.این امکان را به هر هسته می دهد تا به طور مستقیم به حافظه Scratchpad سریع در هسته های دیگر دسترسی پیدا کند ، که پارادایم های محاسبات موازی جدید را امکان پذیر می کند.با این حال ، بدون پشتیبانی مناسب از اتصالات بین هسته ای مقیاس پذیر در کامپایلرهای DL فعلی ، برای توسعه دهندگان دشوار است که از مزایای این معماری جدید سوء استفاده کنند.ما T10 ، اولین کامپایلر DL را برای بهره برداری از پهنای باند ارتباطی بین هسته و حافظه تراشه در تراشه های AI توزیع می کنیم.برای تدوین الگوهای محاسبات و ارتباطی اپراتورهای تانسور در این معماری جدید ، T10 یک RTENSOR انتزاع تانسور توزیع شده را معرفی می کند.T10 یک مدل DNN را برای برنامه های اجرا با یک الگوی محاسبات تعمیم یافته ، با تقسیم محاسبات DNN به زیر اپراتورها و نقشه برداری از آنها به هسته نقشه می کند تا هسته ها بتوانند داده ها را به دنبال الگوهای قابل پیش بینی تبادل کنند.T10 تجارت بهینه سازی شده در سطح جهانی بین مصرف حافظه روی تراشه و ارتباطات بین هسته ای را ایجاد می کند ، بهترین برنامه اجرای را از یک فضای بهینه سازی گسترده انتخاب می کند و ارتباطات غیر ضروری بین هسته ای را کاهش می دهد.ارزیابی ما با یک تراشه AI متصل به هسته واقعی ، IPU Graphcore ، در مقایسه با کامپایلرهای پیشرفته DL و کتابخانه های فروشنده ، حداکثر 3.3 $ برابر $ بهبود عملکرد و پشتیبانی از مقیاس پذیری را نشان می دهد.