در دنیای امروز، شبکه‌های عصبی عمیق به طور گسترده‌ای در زمینه‌های مختلف از جمله بینایی کامپیوتر، پردازش زبان طبیعی و رباتیک مورد استفاده قرار می‌گیرند. با این حال، این شبکه‌ها معمولاً از نظر محاسباتی بسیار سنگین هستند و نیاز به منابع سخت‌افزاری قابل توجهی دارند. این امر استقرار آن‌ها را در دستگاه‌های با منابع محدود مانند تلفن‌های همراه و دستگاه‌های تعبیه‌شده با چالش مواجه می‌کند. کوانتیزاسیون، به عنوان یک تکنیک فشرده‌سازی مدل، راه حلی موثر برای کاهش اندازه مدل و تسریع فرآیند استنتاج ارائه می‌دهد. در این میان، روش‌های کوانتیزاسیون دقت-مختلط (Mixed-Precision Quantization) به دلیل توانایی‌شان در یافتن تعادلی بهینه بین دقت و کارایی، توجه زیادی را به خود جلب کرده‌اند.

مقاله “کوانتیزاسیون دقت-مختلط مبتنی بر جدایی‌پذیری کلاس” (CSMPQ: Class Separability Based Mixed-Precision Quantization) یک رویکرد جدید برای کوانتیزاسیون دقت-مختلط شبکه‌های عصبی عمیق ارائه می‌دهد. این مقاله با تمرکز بر جدایی‌پذیری کلاس‌ها در لایه‌های مختلف شبکه، یک روش کارآمد و موثر برای تعیین دقت مناسب برای هر لایه ارائه می‌دهد. اهمیت این مقاله در ارائه یک روش سریع و بدون نیاز به آموزش مجدد، برای فشرده‌سازی شبکه‌های عصبی و کاهش هزینه محاسباتی آن‌ها است که استقرار این شبکه‌ها را در دستگاه‌های مختلف تسهیل می‌کند.

این مقاله توسط Mingkai Wang, Taisong Jin, Miaohui Zhang و Zhengtao Yu ارائه شده است. زمینه تحقیقاتی این نویسندگان به طور کلی در حوزه بینایی کامپیوتر و شناسایی الگو قرار دارد. آن‌ها در تلاش هستند تا روش‌های نوینی برای فشرده‌سازی و بهینه‌سازی شبکه‌های عصبی ارائه دهند تا بتوان این شبکه‌ها را با کارایی بیشتری در کاربردهای مختلف مورد استفاده قرار داد.

هدف اصلی مقاله CSMPQ، ارائه یک روش کوانتیزاسیون دقت-مختلط است که با کمترین هزینه محاسباتی و بدون نیاز به جستجو یا آموزش پرهزینه، بتواند دقت شبکه را حفظ کند. روش‌های موجود معمولاً بر حساسیت لایه‌های مختلف شبکه متمرکز هستند که نیازمند زمان زیادی برای جستجو و یا آموزش هستند. روش پیشنهادی با استفاده از معیار TF-IDF (Term Frequency-Inverse Document Frequency) که به طور گسترده در پردازش زبان طبیعی مورد استفاده قرار می‌گیرد، میزان جدایی‌پذیری کلاس‌ها را در لایه‌های مختلف شبکه اندازه‌گیری می‌کند. سپس، یک مسئله برنامه‌ریزی خطی برای تعیین پیکربندی بیت بهینه برای هر لایه طراحی می‌شود. نتایج تجربی نشان می‌دهد که CSMPQ بدون نیاز به فرآیند تکراری، به تعادل بهتری بین فشرده‌سازی و دقت نسبت به روش‌های کوانتیزاسیون پیشرفته می‌رسد. به طور خاص، CSMPQ با روش کوانتیزاسیون با آگاهی از آموزش (QAT)، به دقت 73.03% Top-1 در ResNet-18 با تنها 59G BOPs می‌رسد. همچنین با روش کوانتیزاسیون پس از آموزش (PTQ)، به دقت 71.30% Top-1 با تنها 1.5 مگابایت در MobileNetV2 دست می‌یابد.

روش‌شناسی تحقیق در مقاله CSMPQ شامل چندین مرحله کلیدی است:

• اندازه‌گیری جدایی‌پذیری کلاس: در این مرحله، از معیار TF-IDF برای اندازه‌گیری میزان جدایی‌پذیری کلاس‌ها در لایه‌های مختلف شبکه استفاده می‌شود. ایده اصلی این است که لایه‌هایی که جدایی‌پذیری کلاس بالاتری دارند، می‌توانند با دقت کمتری کوانتیزه شوند، در حالی که لایه‌هایی با جدایی‌پذیری کلاس پایین‌تر نیاز به دقت بالاتری دارند.
  

  مثال: فرض کنید یک شبکه عصبی برای تشخیص تصاویر گربه و سگ استفاده می‌شود. اگر یک لایه خاص در شبکه بتواند به خوبی ویژگی‌های مربوط به گربه‌ها را از ویژگی‌های مربوط به سگ‌ها جدا کند، این لایه دارای جدایی‌پذیری کلاس بالایی است و می‌توان آن را با دقت کمتری کوانتیزه کرد.

• فرمول‌بندی مسئله برنامه‌ریزی خطی: در این مرحله، یک مسئله برنامه‌ریزی خطی برای تعیین پیکربندی بیت بهینه برای هر لایه طراحی می‌شود. هدف از این مسئله، یافتن ترکیبی از دقت‌های مختلف برای لایه‌های مختلف است که ضمن حفظ دقت کلی شبکه، میزان فشرده‌سازی را به حداکثر برساند.
  

  مثال: مسئله برنامه‌ریزی خطی می‌تواند به این صورت فرموله شود که هدف، کمینه کردن اندازه کلی مدل (بر حسب بیت) باشد، در حالی که یک محدودیت بر دقت کلی مدل (مثلاً دقت Top-1 باید بیشتر از 70% باشد) اعمال می‌شود.

• ارزیابی تجربی: در این مرحله، روش CSMPQ بر روی مجموعه‌داده‌های مختلف و شبکه‌های عصبی مختلف (مانند ResNet-18 و MobileNetV2) ارزیابی می‌شود. نتایج با روش‌های کوانتیزاسیون پیشرفته مقایسه می‌شوند تا کارایی و اثربخشی CSMPQ نشان داده شود.

یافته‌های کلیدی مقاله CSMPQ عبارتند از:

• کارایی بالا: CSMPQ می‌تواند با کمترین هزینه محاسباتی و بدون نیاز به آموزش مجدد، شبکه‌های عصبی را به طور موثر فشرده کند.
• دقت قابل قبول: CSMPQ می‌تواند ضمن فشرده‌سازی مدل، دقت آن را به خوبی حفظ کند. در برخی موارد، CSMPQ حتی می‌تواند دقت مدل را نسبت به روش‌های کوانتیزاسیون دیگر بهبود بخشد.
• تعادل بهینه: CSMPQ می‌تواند تعادلی بهینه بین فشرده‌سازی و دقت ایجاد کند که برای کاربردهای مختلف مناسب است.
• عدم نیاز به فرآیند تکراری: برخلاف بسیاری از روش‌های کوانتیزاسیون دقت-مختلط، CSMPQ نیازی به فرآیند تکراری یا جستجو ندارد، که این امر باعث افزایش سرعت و کارایی آن می‌شود.

کاربردها و دستاوردهای مقاله CSMPQ بسیار گسترده هستند:

• استقرار مدل‌ها در دستگاه‌های با منابع محدود: CSMPQ می‌تواند برای فشرده‌سازی شبکه‌های عصبی و استقرار آن‌ها در دستگاه‌های با منابع محدود مانند تلفن‌های همراه، دستگاه‌های تعبیه‌شده و اینترنت اشیا (IoT) مورد استفاده قرار گیرد.
• افزایش سرعت استنتاج: CSMPQ می‌تواند با کاهش اندازه مدل، سرعت استنتاج را افزایش دهد که این امر برای کاربردهایی مانند تشخیص چهره و پردازش بلادرنگ ویدیو بسیار مهم است.
• کاهش مصرف انرژی: CSMPQ می‌تواند با کاهش حجم محاسبات، مصرف انرژی شبکه‌های عصبی را کاهش دهد که این امر برای دستگاه‌های قابل حمل و باتری‌دار بسیار حائز اهمیت است.

دستاورد اصلی این مقاله، ارائه یک روش کوانتیزاسیون دقت-مختلط کارآمد و موثر است که می‌تواند به طور گسترده در کاربردهای مختلف مورد استفاده قرار گیرد.

مقاله “کوانتیزاسیون دقت-مختلط مبتنی بر جدایی‌پذیری کلاس” یک گام مهم در جهت ارائه روش‌های کارآمدتر و موثرتر برای فشرده‌سازی شبکه‌های عصبی عمیق است. روش پیشنهادی در این مقاله، CSMPQ، با استفاده از معیارهای جدایی‌پذیری کلاس و فرمول‌بندی مسئله برنامه‌ریزی خطی، می‌تواند تعادلی بهینه بین فشرده‌سازی و دقت ایجاد کند. این روش بدون نیاز به فرآیندهای پیچیده جستجو و آموزش، امکان استقرار شبکه‌های عصبی را در دستگاه‌های مختلف با منابع محدود فراهم می‌کند. نتایج تجربی نشان می‌دهد که CSMPQ عملکرد بهتری نسبت به روش‌های کوانتیزاسیون پیشرفته دارد و می‌تواند به طور گسترده در کاربردهای مختلف مورد استفاده قرار گیرد. این مقاله می‌تواند الهام‌بخش تحقیقات بیشتر در زمینه بهینه‌سازی و فشرده‌سازی شبکه‌های عصبی باشد و به توسعه روش‌های نوین برای استقرار این شبکه‌ها در دنیای واقعی کمک کند.