ترجمه فارسی مقاله به سوی جایگشت کارآمد برای پراکندگی سلسله مراتبی N:M روی GPUها

چکیده

N:M sparsity pruning is a powerful technique for compressing deep neural networks, utilizing NVIDIA’s Sparse Tensor Core technology. This method benefits from hardware support for sparse indexing, enabling the adoption of fine-grained sparsity to maintain model accuracy while minimizing the overhead typically associated with irregular data access. Although restricted to a fixed level of sparsity due to its reliance on hardware, N:M sparsity can be combined with coarser sparsity techniques to achieve diverse compression ratios. Initially, column-wise vector sparsity is applied to a dense model, followed by row-wise N:M sparsity on the preserved column vectors. We call this multi-level approach as hierarchical N:M (HiNM) sparsity. Similar to earlier single-level sparsity techniques, HiNM sparsity necessitates an effective channel permutation strategy to maximize the accuracy of the compressed networks. However, it introduces further complexities by requiring the rearrangement of both input and output channels, addressing challenges such as permutation sequence, HiNM-sparsity-aware permutation, and maintaining consistency in channel ordering across layers. In this paper, we introduce a channel permutation method designed specifically for HiNM sparsity, named gyro-permutation. This method is crafted to exploit the unique characteristics of HiNM pruning, incorporating a strategic policy in each permutation phase, including channel sampling, clustering, and assignment, to circumvent local minima. Additionally, we have developed a GPU kernel that facilitates independent layer permutation during the execution of HiNM sparse networks. Our extensive experimental evaluations on various DNN models demonstrate that our gyro-permutation significantly enhances the accuracy of HiNM sparse networks, allowing them to reach performance levels comparable to those of unstructured sparse networks.

چکیده به فارسی (ترجمه ماشینی)

N: M Sparsity هرس یک روش قدرتمند برای فشرده سازی شبکه های عصبی عمیق ، با استفاده از فناوری هسته پراکنده Tensor Nvidia است.این روش از پشتیبانی سخت افزاری برای نمایه سازی پراکنده بهره می برد و امکان پذیرش کمبود ریز دانه را برای حفظ دقت مدل و در عین حال به حداقل رساندن سربار که معمولاً با دسترسی به داده های نامنظم همراه است ، فراهم می کند.اگرچه به دلیل اتکا به سخت افزار به سطح ثابت کمبود محدود شده است ، اما می توان برای دستیابی به نسبت های فشرده سازی متنوع ، کمبود N: M با تکنیک های درشت تر ترکیب شد.در ابتدا ، بردار بردار ستون بر روی یک مدل متراکم اعمال می شود ، و به دنبال آن ردیف N: M Sparsity در بردارهای ستون حفظ شده.ما این رویکرد چند سطحی را به عنوان N: M (HINM) کمتری می نامیم.شبیه به تکنیک های پراکندگی تک سطح قبلی ، HINM Sparsity برای به حداکثر رساندن صحت شبکه های فشرده ، یک استراتژی مجوز کانال مؤثر را ضروری می کند.با این حال ، با نیاز به بازآرایی هر دو کانال ورودی و خروجی ، پرداختن به چالش هایی مانند توالی جابجایی ، جابجایی HINM-SParsity-Aware و حفظ سازگاری در ترتیب کانال در لایه ها ، پیچیدگی های بیشتری را معرفی می کند.در این مقاله ، ما یک روش جابجایی کانال را که به طور خاص برای HINM Sparsity طراحی شده است ، به نام Gyro-Permutation معرفی می کنیم.این روش به منظور بهره برداری از ویژگی های منحصر به فرد هرس HINM ، شامل یک سیاست استراتژیک در هر مرحله جابجایی ، از جمله نمونه گیری کانال ، خوشه بندی و انتساب ، برای دور زدن حداقل محلی ساخته شده است.علاوه بر این ، ما یک هسته GPU ایجاد کرده ایم که جابجایی لایه مستقل در طول اجرای شبکه های پراکنده HINM را تسهیل می کند.ارزیابی های تجربی گسترده ما در مدل های مختلف DNN نشان می دهد که افزایش ژیرو ما به طور قابل توجهی دقت شبکه های پراکنده HINM را افزایش می دهد و به آنها امکان می دهد تا به سطح عملکرد قابل مقایسه با شبکه های پراکنده بدون ساختار برسند.