ترجمه فارسی مقاله مجازی‌سازی واحدهای پردازش عصبی به کمک سخت‌افزار برای پلتفرم‌های ابری

چکیده

Cloud platforms today have been deploying hardware accelerators like neural processing units (NPUs) for powering machine learning (ML) inference services. To maximize the resource utilization while ensuring reasonable quality of service, a natural approach is to virtualize NPUs for efficient resource sharing for multi-tenant ML services. However, virtualizing NPUs for modern cloud platforms is not easy. This is not only due to the lack of system abstraction support for NPU hardware, but also due to the lack of architectural and ISA support for enabling fine-grained dynamic operator scheduling for virtualized NPUs. We present Neu10, a holistic NPU virtualization framework. We investigate virtualization techniques for NPUs across the entire software and hardware stack. Neu10 consists of (1) a flexible NPU abstraction called vNPU, which enables fine-grained virtualization of the heterogeneous compute units in a physical NPU (pNPU); (2) a vNPU resource allocator that enables pay-as-you-go computing model and flexible vNPU-to-pNPU mappings for improved resource utilization and cost-effectiveness; (3) an ISA extension of modern NPU architecture for facilitating fine-grained tensor operator scheduling for multiple vNPUs. We implement Neu10 based on a production-level NPU simulator. Our experiments show that Neu10 improves the throughput of ML inference services by up to 1.4$times$ and reduces the tail latency by up to 4.6$times$, while improving the NPU utilization by 1.2$times$ on average, compared to state-of-the-art NPU sharing approaches.

چکیده به فارسی (ترجمه ماشینی)

سیستم عامل های ابری امروزه شتاب دهنده های سخت افزاری مانند واحدهای پردازش عصبی (NPU) را برای خدمات استنتاج یادگیری ماشین (ML) به کار می گیرند.برای به حداکثر رساندن استفاده از منابع ضمن اطمینان از کیفیت مناسب خدمات ، یک رویکرد طبیعی برای مجازی سازی NPU ها برای اشتراک منابع کارآمد برای خدمات ML چند مستاجر است.با این حال ، مجازی سازی NPU ها برای سیستم عامل های ابر مدرن آسان نیست.این نه تنها به دلیل عدم پشتیبانی از انتزاع سیستم برای سخت افزار NPU ، بلکه به دلیل عدم پشتیبانی معماری و ISA برای فعال کردن برنامه ریزی اپراتور پویا ریز دانه برای NPU های مجازی است.ما Neu10 ، یک چارچوب مجازی سازی NPU جامع را ارائه می دهیم.ما تکنیک های مجازی سازی برای NPU ها را در کل نرم افزار و پشته سخت افزار بررسی می کنیم.Neu10 از (1) یک انتزاع انعطاف پذیر NPU به نام VNPU تشکیل شده است ، که مجازی سازی ریز دانه واحدهای محاسباتی ناهمگن را در یک NPU فیزیکی (PNPU) امکان پذیر می کند.(2) یک تخصیص دهنده منبع VNPU که مدل محاسبات Pay-as-Go و نگاشتهای انعطاف پذیر VNPU-PNPU را برای بهبود استفاده از منابع و مقرون به صرفه امکان پذیر می کند.(3) گسترش ISA از معماری مدرن NPU برای تسهیل برنامه ریزی اپراتور ریز ریز ریز دانه برای چندین VNPU.ما NEU10 را بر اساس یک شبیه ساز NPU در سطح تولید پیاده سازی می کنیم.آزمایشات ما نشان می دهد که NEU10 توان تولید خدمات استنتاج ML را تا 1.4 $ $ $ بهبود می بخشد و تأخیر دم را تا 4.6 $ برابر $ کاهش می دهد ، در حالی که به طور متوسط ​​1.2 $ $ در مقایسه با 1.2 $ $ بهبود می یابد ، در مقایسه بارویکردهای به اشتراک گذاری NPU پیشرفته.