مقاله CRISP: پراکندگی ساختاری هیبرید برای فیلترینگ مدل حساس به طبقه

چکیده

Machine learning pipelines for classification tasks often train a universal model to achieve accuracy across a broad range of classes. However, a typical user encounters only a limited selection of classes regularly. This disparity provides an opportunity to enhance computational efficiency by tailoring models to focus on user-specific classes. Existing works rely on unstructured pruning, which introduces randomly distributed non-zero values in the model, making it unsuitable for hardware acceleration. Alternatively, some approaches employ structured pruning, such as channel pruning, but these tend to provide only minimal compression and may lead to reduced model accuracy. In this work, we propose CRISP, a novel pruning framework leveraging a hybrid structured sparsity pattern that combines both fine-grained N:M structured sparsity and coarse-grained block sparsity. Our pruning strategy is guided by a gradient-based class-aware saliency score, allowing us to retain weights crucial for user-specific classes. CRISP achieves high accuracy with minimal memory consumption for popular models like ResNet-50, VGG-16, and MobileNetV2 on ImageNet and CIFAR-100 datasets. Moreover, CRISP delivers up to 14$\times$ reduction in latency and energy consumption compared to existing pruning methods while maintaining comparable accuracy. Our code is available at https://github.com/shivmgg/CRISP/.

چکیده به فارسی (ترجمه ماشینی)

خطوط لوله یادگیری ماشین برای کارهای طبقه بندی اغلب برای دستیابی به دقت در طیف گسترده ای از کلاس ها ، یک مدل جهانی را آموزش می دهد.با این حال ، یک کاربر معمولی فقط با انتخاب محدودی از کلاس ها به طور مرتب برخورد می کند.این نابرابری فرصتی را برای تقویت بهره وری محاسباتی با استفاده از مدلهای متناسب با تمرکز بر کلاسهای خاص کاربر فراهم می کند.آثار موجود به هرس بدون ساختار متکی هستند ، که مقادیر غیر صفر به طور تصادفی توزیع شده را در مدل معرفی می کند ، و آن را برای شتاب سخت افزاری نامناسب می کند.از طرف دیگر ، برخی از رویکردها از هرس ساختاری مانند هرس کانال استفاده می کنند ، اما اینها تمایل دارند که فقط حداقل فشرده سازی را فراهم کنند و ممکن است منجر به کاهش دقت مدل شود.در این کار ، ما Crisp ، یک چارچوب هرس جدید را که از یک الگوی اسپاریت ساختاری ترکیبی استفاده می کند ، پیشنهاد می کنیم که هر دو N: M ساختار یافته ساختار یافته را با هم ترکیب می کند: M و بلوک بلوک درشت دانه.استراتژی هرس ما با یک نمره شوری آگاهی از کلاس مبتنی بر گرادیان هدایت می شود و به ما امکان می دهد وزنهای مهم را برای کلاسهای خاص کاربر حفظ کنیم.CRISP با حداقل مصرف حافظه برای مدلهای محبوب مانند RESNET-50 ، VGG-16 و MOBILENETV2 در مجموعه داده های Imagenet و Cifar-100 به دقت بالایی می رسد.علاوه بر این ، CRISP ضمن حفظ دقت قابل مقایسه ، تا 14 $ برابر کاهش تأخیر و مصرف انرژی را در مقایسه با روش های هرس موجود ارائه می دهد.کد ما در https://github.com/shivmgg/crisp/ در دسترس است.