مقاله “آی-برت: کوانتیزاسیون تمام-صحیحِ برت” به بررسی یک روش جدید برای بهینه‌سازی مدل‌های مبتنی بر ترانسفورمر مانند BERT می‌پردازد. این مقاله، با تمرکز بر کاهش مصرف انرژی، تاخیر استنتاج و حجم حافظه، راهکاری را ارائه می‌دهد که امکان اجرای مدل‌های پیچیده یادگیری عمیق را بر روی دستگاه‌های با منابع محدود، مانند تلفن‌های همراه و سیستم‌های تعبیه‌شده، فراهم می‌آورد. اهمیت این مقاله در این است که با ارائه یک روش کوانتیزاسیون تماماً صحیح، امکان استفاده از سخت‌افزارهای بهینه‌شده برای محاسبات اعداد صحیح را فراهم می‌کند، که منجر به افزایش سرعت و کاهش مصرف انرژی در هنگام استنتاج می‌شود.

این مقاله توسط Sehoon Kim، Amir Gholami، Zhewei Yao، Michael W. Mahoney و Kurt Keutzer نوشته شده است. این نویسندگان، متخصصین برجسته‌ای در زمینه‌های یادگیری عمیق، پردازش زبان طبیعی و بهینه‌سازی محاسباتی هستند. زمینه تحقیقاتی این افراد شامل موارد زیر می‌شود:

• کوانتیزاسیون مدل‌های یادگیری عمیق: تبدیل مدل‌های با دقت ممیز شناور به مدل‌های با دقت پایین‌تر (اعداد صحیح) به منظور کاهش حجم و افزایش سرعت.
• بهینه‌سازی استنتاج: بهبود کارایی استنتاج (Inference) مدل‌های یادگیری عمیق، به خصوص بر روی دستگاه‌های با منابع محدود.
• مدل‌های مبتنی بر ترانسفورمر: تحقیق و توسعه در زمینه مدل‌های ترانسفورمر، که به طور گسترده در پردازش زبان طبیعی استفاده می‌شوند.

با توجه به این زمینه‌ها، هدف اصلی این مقاله ارائه یک راهکار عملی برای استقرار مدل‌های بزرگ زبان طبیعی (مانند BERT و RoBERTa) بر روی سخت‌افزارهای مختلف با حفظ دقت قابل قبول است.

مدل‌های مبتنی بر ترانسفورمر مانند BERT و RoBERTa، به نتایج بسیار خوبی در بسیاری از وظایف پردازش زبان طبیعی دست یافته‌اند. با این حال، حجم حافظه، تاخیر استنتاج و مصرف برق بالای آن‌ها مانع از استنتاج کارآمد در لبه (Edge) و حتی در مراکز داده می‌شود. در حالی که کوانتیزاسیون می‌تواند یک راه حل مناسب برای این مشکل باشد، کارهای قبلی در زمینه کوانتیزاسیون مدل‌های مبتنی بر ترانسفورمر از محاسبات ممیز شناور در طول استنتاج استفاده می‌کنند، که نمی‌تواند به طور کارآمد از واحدهای منطقی تماماً صحیح مانند هسته‌های تنسور تورینگ (Turing Tensor Cores) یا پردازنده‌های ARM تماماً صحیح سنتی استفاده کند.

در این مقاله، I-BERT، یک طرح کوانتیزاسیون جدید برای مدل‌های مبتنی بر ترانسفورمر ارائه شده است که کل استنتاج را با محاسبات تماماً صحیح کوانتیزه می‌کند. I-BERT بر اساس روش‌های تقریبی تماماً صحیح و سبک برای عملیات غیرخطی، به عنوان مثال GELU، Softmax و Layer Normalization، یک استنتاج تماماً صحیح BERT را بدون هیچ گونه محاسبه ممیز شناور انجام می‌دهد.

نتایج این تحقیق نشان می‌دهد که I-BERT در وظایف پایین دستی GLUE با استفاده از RoBERTa-Base/Large، دقت مشابه (و کمی بالاتر) نسبت به خط مبنای با دقت کامل (Full-Precision Baseline) به دست می‌آورد. علاوه بر این، پیاده‌سازی اولیه I-BERT نشان می‌دهد که در مقایسه با استنتاج FP32، سرعت استنتاج INT8 روی سیستم GPU T4، بین 2.4 تا 4.0 برابر افزایش می‌یابد. این چارچوب در PyTorch توسعه یافته و به صورت متن‌باز منتشر شده است.

روش‌شناسی تحقیق در این مقاله بر مبنای کوانتیزاسیون تماماً صحیح مدل‌های ترانسفورمر استوار است. این روش شامل مراحل زیر است:

• کوانتیزاسیون وزن‌ها و فعال‌سازی‌ها: تبدیل وزن‌ها و فعال‌سازی‌های مدل از فرمت ممیز شناور (FP32) به فرمت عدد صحیح (INT8). این کار با استفاده از تکنیک‌های مختلف کوانتیزاسیون انجام می‌شود. به عنوان مثال، از روش‌های Quantization-Aware Training (QAT) برای آموزش مدل در حین کوانتیزاسیون استفاده می‌شود تا افت دقت به حداقل برسد.
• تقریب عملیات غیرخطی: عملیات غیرخطی مانند GELU، Softmax و Layer Normalization معمولاً به محاسبات ممیز شناور نیاز دارند. در I-BERT، این عملیات با استفاده از تقریب‌های تماماً صحیح و سبک جایگزین می‌شوند. به عنوان مثال، از جدول جستجو (Lookup Table) یا تقریب‌های چند جمله‌ای برای تقریب GELU استفاده می‌شود.
• استنتاج تماماً صحیح: پس از کوانتیزاسیون و تقریب عملیات غیرخطی، کل فرآیند استنتاج با استفاده از محاسبات تماماً صحیح انجام می‌شود. این امر امکان استفاده از سخت‌افزارهای بهینه‌شده برای محاسبات اعداد صحیح را فراهم می‌کند.
• ارزیابی عملکرد: عملکرد I-BERT بر روی مجموعه داده‌های استاندارد GLUE ارزیابی می‌شود. دقت و سرعت استنتاج I-BERT با مدل‌های با دقت کامل و سایر روش‌های کوانتیزاسیون مقایسه می‌شود.

یک مثال عملی از این روش‌شناسی، استفاده از یک جدول جستجو برای تقریب تابع GELU است. به جای محاسبه مقدار دقیق GELU برای هر ورودی، یک جدول از مقادیر پیش‌محاسبه‌شده GELU برای یک محدوده از ورودی‌ها ذخیره می‌شود. در طول استنتاج، مقدار GELU برای هر ورودی با استفاده از این جدول جستجو تقریب زده می‌شود.

یافته‌های کلیدی این تحقیق عبارتند از:

• دقت قابل مقایسه: I-BERT دقت مشابه (و حتی کمی بالاتر) نسبت به مدل‌های با دقت کامل بر روی مجموعه داده‌های GLUE به دست می‌آورد. این نشان می‌دهد که کوانتیزاسیون تماماً صحیح می‌تواند بدون افت قابل توجه در دقت، انجام شود.
• افزایش سرعت: پیاده‌سازی اولیه I-BERT نشان می‌دهد که سرعت استنتاج INT8 روی سیستم GPU T4، بین 2.4 تا 4.0 برابر در مقایسه با استنتاج FP32 افزایش می‌یابد. این افزایش سرعت ناشی از استفاده از سخت‌افزارهای بهینه‌شده برای محاسبات اعداد صحیح است.
• کاهش مصرف انرژی: استفاده از محاسبات اعداد صحیح به طور کلی منجر به کاهش مصرف انرژی می‌شود. اگرچه مقاله به طور مستقیم به اندازه‌گیری مصرف انرژی نمی‌پردازد، اما انتظار می‌رود که I-BERT نسبت به مدل‌های با دقت کامل، مصرف انرژی کمتری داشته باشد.
• عملی بودن: I-BERT یک راهکار عملی برای استقرار مدل‌های بزرگ زبان طبیعی بر روی دستگاه‌های با منابع محدود ارائه می‌دهد. این روش می‌تواند برای کاربردهایی مانند پردازش زبان طبیعی در تلفن‌های همراه، سیستم‌های تعبیه‌شده و ربات‌ها مورد استفاده قرار گیرد.

کاربردها و دستاوردهای I-BERT بسیار گسترده هستند:

• استقرار مدل‌های زبان طبیعی بر روی دستگاه‌های با منابع محدود: I-BERT امکان اجرای مدل‌های پیچیده مانند BERT و RoBERTa را بر روی تلفن‌های همراه، سیستم‌های تعبیه‌شده و سایر دستگاه‌های با منابع محدود فراهم می‌کند. این امر امکان استفاده از قابلیت‌های پردازش زبان طبیعی پیشرفته را در این دستگاه‌ها فراهم می‌کند.
• بهبود کارایی استنتاج در مراکز داده: I-BERT می‌تواند برای بهبود کارایی استنتاج در مراکز داده نیز مورد استفاده قرار گیرد. با کاهش حجم و افزایش سرعت مدل‌ها، می‌توان تعداد درخواست‌های بیشتری را با استفاده از منابع کمتری پردازش کرد.
• توسعه سخت‌افزارهای بهینه‌شده برای محاسبات اعداد صحیح: I-BERT انگیزه ای برای توسعه سخت‌افزارهای بهینه‌شده برای محاسبات اعداد صحیح ایجاد می‌کند. با افزایش تقاضا برای اجرای مدل‌های یادگیری عمیق با استفاده از اعداد صحیح، تولیدکنندگان سخت‌افزار می‌توانند تراشه‌هایی را طراحی کنند که برای این نوع محاسبات بهینه‌شده باشند.
• پیشرفت در زمینه کوانتیزاسیون مدل‌های یادگیری عمیق: I-BERT یک گام مهم در جهت پیشرفت در زمینه کوانتیزاسیون مدل‌های یادگیری عمیق است. این مقاله نشان می‌دهد که کوانتیزاسیون تماماً صحیح می‌تواند به دقت و سرعت قابل قبولی دست یابد.

به عنوان مثال، یک شرکت تولید کننده تلفن همراه می‌تواند از I-BERT برای اجرای یک مدل تشخیص گفتار بر روی تلفن همراه خود استفاده کند. با استفاده از I-BERT، این شرکت می‌تواند دقت و سرعت تشخیص گفتار را بهبود بخشد و همچنین مصرف باتری تلفن همراه را کاهش دهد.

مقاله “آی-برت: کوانتیزاسیون تمام-صحیحِ برت” یک پیشرفت مهم در زمینه بهینه‌سازی مدل‌های مبتنی بر ترانسفورمر است. با ارائه یک روش کوانتیزاسیون تماماً صحیح، I-BERT امکان اجرای مدل‌های پیچیده یادگیری عمیق را بر روی دستگاه‌های با منابع محدود فراهم می‌کند. این تحقیق نه تنها یک راهکار عملی برای استقرار مدل‌های زبان طبیعی در دنیای واقعی ارائه می‌دهد، بلکه انگیزه ای برای توسعه سخت‌افزارهای بهینه‌شده برای محاسبات اعداد صحیح ایجاد می‌کند.

در نهایت، I-BERT یک گام مهم در جهت دموکراتیزه کردن یادگیری عمیق است، زیرا امکان استفاده از قابلیت‌های پردازش زبان طبیعی پیشرفته را برای افراد و سازمان‌هایی فراهم می‌کند که دسترسی به منابع محاسباتی بزرگی ندارند. انتظار می‌رود که این تحقیق تاثیر بسزایی بر توسعه کاربردهای پردازش زبان طبیعی در آینده داشته باشد.