در سال‌های اخیر، شبکه‌های عصبی عمیق (Deep Neural Networks) به موفقیت‌های چشمگیری در حوزه‌هایی مانند بینایی کامپیوتر، پردازش زبان طبیعی و تشخیص گفتار دست یافته‌اند. با این حال، این موفقیت‌ها به قیمت افزایش پیچیدگی مدل‌ها و نیاز به منابع محاسباتی عظیم تمام شده است. مدل‌های مدرن اغلب دارای میلیون‌ها یا حتی میلیاردها پارامتر هستند که با دقت ۳۲ بیتی ممیز شناور (FP32) ذخیره می‌شوند. این امر باعث می‌شود حجم مدل‌ها بسیار بزرگ و سرعت استنتاج (Inference) آن‌ها کند باشد، که استقرار آن‌ها را بر روی دستگاه‌هایی با منابع محدود مانند تلفن‌های هوشمند، دستگاه‌های اینترنت اشیاء (IoT) و سیستم‌های نهفته (Embedded Systems) با چالش جدی مواجه می‌کند.

اینجاست که کوانتیزاسیون (Quantization) به عنوان یک راه‌حل کلیدی مطرح می‌شود. کوانتیزاسیون فرآیند کاهش دقت عددی پارامترها و محاسبات در یک شبکه عصبی است، معمولاً با تبدیل اعداد ممیز شناور به اعداد صحیح با دقت پایین (مانند INT8 یا INT4). این کار به طور قابل توجهی حجم مدل، مصرف حافظه و تأخیر محاسباتی را کاهش می‌دهد. مقاله “A Survey of Quantization Methods for Efficient Neural Network Inference” نوشته امیر غلامی و همکارانش، یک بررسی جامع و سازمان‌یافته از روش‌های مختلف کوانتیزاسیون ارائه می‌دهد. اهمیت این مقاله در آن است که در میان انبوهی از تکنیک‌های پراکنده، یک نقشه راه روشن برای محققان و مهندسان فراهم می‌کند تا بتوانند روش مناسب را برای کاربرد خاص خود انتخاب کرده و چالش‌های مرتبط با آن را درک کنند.

این مقاله توسط تیمی از محققان برجسته در حوزه هوش مصنوعی و سیستم‌های کامپیوتری به رشته تحریر درآمده است: امیر غلامی، سهون کیم، ژن دونگ، ژوی یائو، مایکل دبلیو ماهونی و کورت کوتزر. این نویسندگان عمدتاً با دانشگاه کالیفرنیا، برکلی (UC Berkeley) و سایر مراکز تحقیقاتی پیشرو در ارتباط هستند و سوابق درخشانی در زمینه بهینه‌سازی مدل‌های یادگیری عمیق دارند. تخصص ترکیبی آن‌ها در حوزه‌هایی چون بینایی کامپیوتر، معماری کامپیوتر و محاسبات با کارایی بالا، به این مقاله عمق و اعتبار ویژه‌ای بخشیده است.

زمینه تحقیق این مقاله در تقاطع یادگیری عمیق و مهندسی سخت‌افزار قرار دارد و به شاخه‌ای نوظهور و بسیار فعال به نام هوش مصنوعی کارآمد (Efficient AI) تعلق دارد. هدف اصلی این حوزه، توسعه الگوریتم‌ها و تکنیک‌هایی است که اجرای مدل‌های پیشرفته هوش مصنوعی را بر روی سخت‌افزارهای متنوع، از سرورهای قدرتمند ابری گرفته تا دستگاه‌های لبه با توان محاسباتی محدود، امکان‌پذیر و بهینه سازد.

نویسندگان مقاله را با یک مسئله بنیادی در محاسبات دیجیتال آغاز می‌کنند: چگونه می‌توان مجموعه‌ای از اعداد حقیقی پیوسته را بر روی یک مجموعه محدود از اعداد گسسته نگاشت، به طوری که هم تعداد بیت‌های مورد نیاز برای نمایش به حداقل برسد و هم دقت محاسبات حفظ شود؟ این چالش دیرینه، که اساس کوانتیزاسیون است، امروزه با ظهور شبکه‌های عصبی عمیق اهمیتی دوچندان یافته است.

چکیده مقاله به پتانسیل عظیم کوانتیزاسیون اشاره می‌کند: حرکت از نمایش ممیز شناور به مقادیر صحیح با دقت پایین (۴ بیت یا کمتر) می‌تواند به طور نظری حجم حافظه و تأخیر را تا ۱۶ برابر کاهش دهد. در عمل نیز، کاهش‌هایی بین ۴ تا ۸ برابر به طور متداول در کاربردهای واقعی مشاهده می‌شود. به همین دلیل، کوانتیزاسیون به یکی از داغ‌ترین موضوعات تحقیقاتی در زمینه پیاده‌سازی کارآمد شبکه‌های عصبی تبدیل شده است.

هدف اصلی این مقاله، ارائه یک بررسی جامع از رویکردهای موجود برای کوانتیزه کردن مقادیر عددی در شبکه‌های عصبی است. نویسندگان مزایا و معایب روش‌های فعلی را پوشش داده و با ارائه یک سازمان‌دهی هوشمندانه، تصویری کلی از وضعیت فعلی تحقیقات در این زمینه ترسیم می‌کنند. این ساختار به پژوهشگران کمک می‌کند تا تحقیقات آینده را راحت‌تر ارزیابی کرده و درک عمیق‌تری از چشم‌انداز این حوزه پیدا کنند.

از آنجایی که این مقاله یک مقاله مروری (Survey) است، روش‌شناسی آن بر پایه تحلیل و طبقه‌بندی گسترده مقالات و تحقیقات موجود در زمینه کوانتیزاسیون شبکه‌های عصبی بنا شده است. نویسندگان با مطالعه صدها مقاله، یک چارچوب منسجم برای دسته‌بندی روش‌های مختلف ایجاد کرده‌اند. این طبقه‌بندی به خواننده کمک می‌کند تا ارتباط بین تکنیک‌های گوناگون را درک کرده و نقاط قوت و ضعف هر کدام را بهتر بشناسد. چارچوب اصلی مقاله بر اساس چند محور کلیدی شکل گرفته است:

• زمان اعمال کوانتیزاسیون: آیا فرآیند کوانتیزاسیون پس از اتمام آموزش مدل انجام می‌شود یا در حین فرآیند آموزش؟
• آگاهی از کوانتیزاسیون: آیا مدل در طول آموزش از فرآیند کوانتیزاسیون آگاه است و خود را با آن تطبیق می‌دهد؟
• دقت بیت: کوانتیزاسیون به چه سطحی از دقت انجام می‌شود (مانند ۸ بیت، ۴ بیت، ۲ بیت یا حتی باینری)؟
• دانه‌بندی (Granularity): پارامترهای کالیبراسیون کوانتیزاسیون در چه سطحی اعمال می‌شوند (برای کل مدل، هر لایه، یا هر کانال)؟
• یکنواختی (Uniformity): آیا فواصل بین مقادیر کوانتیزه شده یکسان است یا غیریکنواخت؟

این ساختار منطقی به مقاله اجازه می‌دهد تا تصویری جامع و قابل فهم از یک حوزه پیچیده و به سرعت در حال تحول ارائه دهد.

مقاله به تفصیل به بررسی روش‌ها و مفاهیم کلیدی در کوانتیزاسیون می‌پردازد. مهم‌ترین یافته‌ها و مباحث مطرح شده را می‌توان به چند دسته تقسیم کرد:

الف) دسته‌بندی اصلی روش‌ها:

• کوانتیزاسیون پس از آموزش (Post-Training Quantization – PTQ): این روش، ساده‌ترین رویکرد است. در PTQ، یک مدل که قبلاً با دقت بالا (FP32) آموزش دیده است، به صورت مستقیم به یک مدل با دقت پایین (مثلاً INT8) تبدیل می‌شود. مزیت اصلی آن سادگی و سرعت بالاست، زیرا نیازی به بازآموزی مدل یا دسترسی به مجموعه داده آموزشی ندارد. با این حال، این روش معمولاً منجر به افت دقت بیشتری می‌شود، به خصوص زمانی که از دقت‌های بسیار پایین (کمتر از ۸ بیت) استفاده شود.
• آموزش آگاه از کوانتیزاسیون (Quantization-Aware Training – QAT): در این رویکرد، فرآیند کوانتیزاسیون در طول آموزش شبیه‌سازی می‌شود. به عبارت دیگر، مدل یاد می‌گیرد که با وجود خطاهای گرد کردن و محدودیت‌های ناشی از دقت پایین، همچنان عملکرد خوبی داشته باشد. این کار با افزودن گره‌های شبیه‌ساز کوانتیزاسیون به گراف محاسباتی در حین آموزش انجام می‌شود. QAT معمولاً به دقت بسیار بالاتری نسبت به PTQ دست می‌یابد و برای کوانتیزاسیون به دقت‌های بسیار پایین (مانند ۴ بیت) روش ارجح است. البته هزینه آن، پیچیدگی بیشتر و نیاز به فرآیند بازآموزی است.

ب) جنبه‌های فنی کوانتیزاسیون:

• کالیبراسیون (Calibration): برای تبدیل اعداد ممیز شناور به صحیح، باید دامنه دینامیکی (کمینه و بیشینه) وزن‌ها و فعال‌سازی‌ها مشخص شود. این فرآیند که کالیبراسیون نام دارد، با استفاده از یک مجموعه داده کوچک نماینده انجام می‌شود و در روش‌های PTQ نقشی حیاتی دارد.
• نگاشت متقارن در مقابل نامتقارن (Symmetric vs. Asymmetric Mapping): نگاشت متقارن، دامنه اعداد را به صورت متقارن حول صفر به اعداد صحیح نگاشت می‌کند که برای سخت‌افزارها ساده‌تر است. در حالی که نگاشت نامتقارن با استفاده از یک “نقطه صفر” (zero-point) انعطاف‌پذیری بیشتری برای نگاشت دامنه‌های نامتقارن فراهم می‌کند و اغلب دقت بالاتری دارد.
• دانه‌بندی (Granularity): کوانتیزاسیون می‌تواند به صورت per-tensor (یک مقیاس برای کل تانسور) یا per-channel (یک مقیاس مجزا برای هر کانال در لایه‌های کانولوشنی) انجام شود. روش per-channel معمولاً دقت بهتری ارائه می‌دهد زیرا توزیع مقادیر در کانال‌های مختلف می‌تواند بسیار متفاوت باشد.

مقاله نشان می‌دهد که هیچ روش واحدی برای همه کاربردها بهترین نیست و انتخاب بین PTQ و QAT، سطح دقت بیت و سایر پارامترها به نیازمندی‌های خاص مسئله (مانند محدودیت‌های سخت‌افزاری و دقت مورد نیاز) بستگی دارد.

دستاوردهای کوانتیزاسیون بسیار ملموس و کاربردی هستند و راه را برای استقرار هوش مصنوعی در دنیای واقعی هموار کرده‌اند. این مقاله به کاربردهای متعددی اشاره می‌کند:

• هوش مصنوعی لبه (Edge AI): این بزرگترین حوزه کاربرد کوانتیزاسیون است. با کاهش حجم مدل و نیاز محاسباتی، می‌توان الگوریتم‌های پیچیده مانند تشخیص چهره، دستیارهای صوتی و ناوبری هوشمند را به صورت محلی و بدون نیاز به اتصال به اینترنت بر روی دستگاه‌های زیر اجرا کرد:
  • تلفن‌های هوشمند: برای بهبود دوربین، ترجمه آنی و اپلیکیشن‌های واقعیت افزوده.
  • خودروهای خودران: برای پردازش سریع داده‌های سنسورها و تصمیم‌گیری آنی.
  • دستگاه‌های IoT و پوشیدنی: برای پایش هوشمند سلامت و کاربردهای صنعتی.
• رایانش ابری (Cloud Computing): حتی در مراکز داده قدرتمند نیز کوانتیزاسیون مزایای قابل توجهی دارد. با کاهش حجم مدل و افزایش سرعت استنتاج، می‌توان به تعداد کاربران بیشتری با همان زیرساخت سخت‌افزاری سرویس داد، که منجر به کاهش هزینه‌های عملیاتی و مصرف انرژی می‌شود.

به طور خلاصه، کوانتیزاسیون یک فناوری توانمندساز است که شکاف بین مدل‌های تحقیقاتی حجیم و محصولات کاربردی و بهینه را پر می‌کند.

مقاله “A Survey of Quantization Methods for Efficient Neural Network Inference” یک منبع ارزشمند و یک راهنمای جامع برای محققان، دانشجویان و مهندسانی است که در زمینه پیاده‌سازی کارآمد شبکه‌های عصبی فعالیت می‌کنند. نویسندگان با موفقیت توانسته‌اند یک حوزه تحقیقاتی پیچیده و وسیع را به شیوه‌ای سازمان‌یافته و قابل فهم ارائه دهند.

این مقاله به وضوح نشان می‌دهد که کوانتیزاسیون دیگر یک موضوع حاشیه‌ای نیست، بلکه یک جزء ضروری در چرخه عمر توسعه مدل‌های یادگیری عمیق است. موازنه بین کارایی (سرعت، حجم) و دقت، همچنان چالش اصلی در این حوزه باقی می‌ماند و تحقیقات آینده احتمالاً بر روی روش‌های خودکارسازی کوانتیزاسیون، تکنیک‌های مختلط دقت (mixed-precision) و طراحی سخت‌افزارهای تخصصی برای پشتیبانی از محاسبات با دقت پایین متمرکز خواهد شد. این بررسی جامع، یک پایه محکم برای درک وضعیت فعلی و ارزیابی نوآوری‌های آینده در این عرصه هیجان‌انگیز فراهم می‌کند.