در سال‌های اخیر، مدل‌های زبانی بزرگ (Large Language Models) مبتنی بر معماری ترنسفورمر، مانند BERT، انقلابی در حوزه پردازش زبان طبیعی (NLP) ایجاد کرده‌اند. این مدل‌ها با توانایی درک عمیق متون، در طیف گسترده‌ای از وظایف مانند ترجمه، خلاصه‌سازی و تحلیل احساسات به نتایج شگفت‌انگیزی دست یافته‌اند. با این حال، این قدرت با هزینه‌ای گزاف همراه است: حجم بسیار بزرگ مدل و نیاز به توان محاسباتی بالا. این مسئله، استفاده از چنین مدل‌هایی را بر روی دستگاه‌های با منابع محدود، مانند گوشی‌های هوشمند، دستگاه‌های اینترنت اشیاء (IoT) و سیستم‌های نهفته (Embedded Systems) تقریباً غیرممکن می‌سازد.

برای غلبه بر این چالش، محققان به تکنیک‌های فشرده‌سازی مدل روی آورده‌اند که یکی از مؤثرترین آن‌ها کوانتیزاسیون (Quantization) است. کوانتیزاسیون فرآیند کاهش دقت عددی پارامترهای مدل (وزن‌ها و فعال‌سازی‌ها) است، به طوری که به جای استفاده از اعداد ممیز شناور ۳۲ بیتی (float32)، از اعداد صحیح با بیت کمتر (مانند int8) استفاده می‌شود. تا پیش از این، تصور می‌شد که کوانتیزاسیون مدل‌های BERT به کمتر از ۸ بیت، منجر به افت شدید دقت می‌شود. مقاله MKQ-BERT این مرز را جابجا می‌کند و برای اولین بار روشی موفق برای کوانتیزاسیون BERT با استفاده از تنها ۴ بیت ارائه می‌دهد، بدون آنکه عملکرد مدل قربانی شود. این دستاورد، گامی بزرگ در جهت دموکراتیزه کردن هوش مصنوعی پیشرفته و کاربردی ساختن آن در دنیای واقعی است.

این مقاله حاصل تلاش تیمی از محققان برجسته به نام‌های Hanlin Tang، Xipeng Zhang، Kai Liu، Jianchen Zhu و Zhanhui Kang است. پژوهش آن‌ها در حوزه یادگیری ماشین، به ویژه در زمینه بهینه‌سازی و فشرده‌سازی مدل‌های یادگیری عمیق قرار می‌گیرد.

این تحقیق در چارچوب یک گرایش رو به رشد در هوش مصنوعی به نام “هوش مصنوعی کارآمد” (Efficient AI) انجام شده است. هدف اصلی این حوزه، توسعه الگوریتم‌ها و مدل‌هایی است که نه تنها قدرتمند هستند، بلکه از نظر محاسباتی بهینه، سریع و کم‌مصرف نیز باشند. با توجه به افزایش نگرانی‌ها در مورد هزینه‌های مالی و زیست‌محیطی مراکز داده عظیم، پژوهش‌هایی مانند MKQ-BERT که به دنبال کاهش ردپای محاسباتی هوش مصنوعی هستند، از اهمیت استراتژیک برخوردارند.

مقاله MKQ-BERT به چالش اصلی مدل‌های زبانی بزرگ یعنی هزینه محاسباتی بالای آن‌ها می‌پردازد. نویسندگان روشی نوین برای کوانتیزاسیون شدید مدل BERT ارائه می‌دهند که در آن، هم وزن‌ها و هم مقادیر فعال‌سازی (Activations) به نمایش ۴ بیتی فشرده می‌شوند. این سطح از فشرده‌سازی پیش از این دست‌نیافتنی به نظر می‌رسید.

نوآوری اصلی این مقاله در دو بخش خلاصه می‌شود: اول، ارائه یک روش جدید و دقیق برای محاسبه گرادیان مقیاس کوانتیزاسیون که به مدل اجازه می‌دهد در حین آموزش، بهترین راه برای نگاشت مقادیر به فضای ۴ بیتی را یاد بگیرد. دوم، استفاده از یک استراتژی تقطیر دانش (Knowledge Distillation) پیشرفته که در آن، مدل کوانتیده‌شده‌ی “دانش‌آموز” (student) نه تنها از برچسب‌های نهایی، بلکه از خروجی‌های لایه‌های میانی مدل اصلی و بزرگ‌تر “معلم” (teacher) نیز یاد می‌گیرد تا افت دقت به حداقل برسد. نتایج نشان می‌دهد که MKQ-BERT نه تنها از روش‌های کوانتیزاسیون موجود عملکرد بهتری دارد، بلکه اولین پژوهشی است که با موفقیت یک مدل BERT چهار بیتی را پیاده‌سازی کرده و به افزایش سرعت قابل توجهی در فرآیند استنتاج (inference) دست یافته است.

موفقیت MKQ-BERT بر پایه ترکیبی هوشمندانه از چند تکنیک پیشرفته بنا شده است. در ادامه، ارکان اصلی این روش‌شناسی را بررسی می‌کنیم:

• کوانتیزاسیون متقارن ۴ بیتی: در این روش، مقادیر ممیز شناور در یک بازه مشخص به یک مجموعه محدود از مقادیر صحیح (در اینجا ۱۶ مقدار، از -۸ تا +۷) نگاشت می‌شوند. این کار حجم حافظه مورد نیاز برای ذخیره وزن‌ها و فعال‌سازی‌ها را به شدت کاهش می‌دهد. چالش اصلی در این فرآیند، مدیریت خطای ناشی از گرد کردن اعداد (خطای کوانتیزاسیون) است.
• روش نوین محاسبه گرادیان مقیاس کوانتیزاسیون: یکی از مشکلات اساسی در آموزش مدل‌های کوانتیده‌شده این است که عمل گرد کردن، مشتق‌پذیر نیست و این امر مانع از انتشار گرادیان‌ها در حین فرآیند پس‌انتشار (Backpropagation) می‌شود. نویسندگان با معرفی یک “تخمین‌گر مستقیم” (Straight-Through Estimator) بهبودیافته، راهی برای محاسبه یک گرادیان تقریبی و در عین حال دقیق برای “مقیاس کوانتیزاسیون” پیدا کرده‌اند. این مقیاس، پارامتری کلیدی است که تعیین می‌کند بازه اعداد چگونه به فضای ۴ بیتی نگاشت شود و یادگیری آن برای کاهش خطا حیاتی است.
• استراتژی تقطیر دانش پیشرفته: برای جبران افت دقت ناشی از کوانتیزاسیون شدید، از تقطیر دانش استفاده می‌شود. در این فرآیند، مدل ۴ بیتی (دانش‌آموز) آموزش می‌بیند تا رفتار مدل اصلی ۳۲ بیتی (معلم) را تقلید کند. برخلاف روش‌های سنتی که فقط خروجی نهایی را تقلید می‌کنند، MKQ-BERT از یک استراتژی تقطیر جامع بهره می‌برد:
  • تقطیر از لایه خروجی: دانش‌آموز یاد می‌گیرد تا توزیع احتمال خروجی معلم را بازتولید کند.
  • تقطیر از لایه‌های ترنسفورمر: دانش‌آموز سعی می‌کند مقادیر ماتریس‌های توجه (Attention Matrices) و خروجی‌های لایه‌های میانی معلم را نیز تقلید نماید. این کار باعث می‌شود که “فرآیند تفکر” مدل اصلی به مدل فشرده‌شده منتقل شود.

نتایج تجربی ارائه‌شده در مقاله، موفقیت چشمگیر رویکرد MKQ-BERT را تأیید می‌کند. مهم‌ترین یافته‌ها عبارتند از:

• کاهش حجم مدل بدون افت دقت: مدل MKQ-BERT موفق به کاهش حجم بیت‌ها به میزان 5.3 برابر شده است، در حالی که دقت آن در بنچمارک‌های استاندارد پردازش زبان طبیعی مانند GLUE تقریباً با مدل اصلی float32 برابری می‌کند. این یک دستاورد بی‌سابقه در فشرده‌سازی مدل‌های ترنسفورمر است.
• برتری نسبت به روش‌های رقیب: در مقایسه با سایر روش‌های کوانتیزاسیون موجود، MKQ-BERT در سطح فشرده‌سازی یکسان (۴ بیت)، به دقت بالاتری دست می‌یابد. این نشان‌دهنده کارایی بالای روش محاسبه گرادیان و استراتژی تقطیر دانش به‌کاررفته است.
• افزایش سرعت استنتاج بی‌نظیر: مهم‌ترین نتیجه عملی این پژوهش، افزایش سرعت است. نویسندگان گزارش می‌دهند که سرعت استنتاج یک لایه ترنسفورمر کوانتیده‌شده با فرمت int4، تا ۱۵ برابر سریع‌تر از همان لایه با فرمت float32 است. این افزایش سرعت، اجرای آنی و بلادرنگ مدل‌های پیچیده را ممکن می‌سازد.
• اولین پیاده‌سازی موفق و سرتاسری: این مقاله اولین پژوهشی است که نه تنها یک مدل BERT چهار بیتی را با موفقیت آموزش می‌دهد، بلکه آن را به صورت عملی پیاده‌سازی کرده و افزایش سرعت سرتاسری (end-to-end) را نیز اندازه‌گیری و اثبات می‌کند.

دستاورد مقاله MKQ-BERT پیامدهای گسترده‌ای برای صنعت و دنیای فناوری دارد. برخی از مهم‌ترین کاربردهای عملی آن عبارتند از:

• اجرای مدل‌های NLP روی دستگاه‌های لبه (Edge Devices): با این روش می‌توان مدل‌های قدرتمند زبانی را مستقیماً روی گوشی‌های هوشمند، دستیارهای صوتی، خودروهای هوشمند و سایر دستگاه‌های IoT اجرا کرد. این امر نیاز به ارسال داده به سرورهای ابری را از بین برده و منجر به افزایش حریم خصوصی و کاهش تأخیر می‌شود. برای مثال، یک اپلیکیشن ترجمه می‌تواند به صورت کاملاً آفلاین و آنی عمل کند.
• کاهش هزینه‌های زیرساخت: شرکت‌هایی که سرویس‌های مبتنی بر هوش مصنوعی ارائه می‌دهند، می‌توانند با استفاده از مدل‌های کوانتیده‌شده، هزینه‌های سرور، مصرف انرژی و در نتیجه هزینه‌های عملیاتی خود را به شدت کاهش دهند.
• بهبود تجربه کاربری در اپلیکیشن‌ها: افزایش ۱۵ برابری سرعت استنتاج به معنای پاسخ‌دهی آنی چت‌بات‌ها، تحلیل سریع‌تر نظرات کاربران و اجرای روان‌تر قابلیت‌های هوشمند در نرم‌افزارها است.
• دموکراتیزه کردن هوش مصنوعی: با کاهش نیاز به سخت‌افزارهای گران‌قیمت، محققان و توسعه‌دهندگان بیشتری می‌توانند با مدل‌های زبانی پیشرفته کار کرده و نوآوری کنند.

مقاله MKQ-BERT یک گام مهم و رو به جلو در زمینه ساخت مدل‌های هوش مصنوعی کارآمد و پایدار است. این پژوهش با موفقیت نشان داد که می‌توان محدودیت ۸ بیت را برای کوانتیزاسیون مدل‌های ترنسفورمر شکست و به فشرده‌سازی ۴ بیتی دست یافت، بدون آنکه دقت فدا شود. ترکیب نوآورانه یک روش دقیق برای آموزش مدل کوانتیده‌شده با یک استراتژی جامع تقطیر دانش، کلید موفقیت این رویکرد بوده است.

این دستاورد راه را برای استفاده گسترده از مدل‌های زبانی بزرگ در دستگاه‌ها و کاربردهایی که پیش از این به دلیل محدودیت‌های محاسباتی غیرممکن بود، هموار می‌سازد. MKQ-BERT نه تنها یک پیشرفت علمی است، بلکه یک راه‌حل مهندسی قدرتمند است که می‌تواند آینده تعامل ما با فناوری‌های هوشمند را متحول کند.