مدل‌های زبانی مبتنی بر ترنسفورمرها به یکی از اجزای اصلی و اساسی در پردازش زبان طبیعی (NLP) تبدیل شده‌اند. این مدل‌ها با وجود دقت بسیار بالا، اغلب به قدری بزرگ و از نظر محاسباتی سنگین هستند که اجرای آن‌ها بر روی سیستم‌های استاندارد با محدودیت‌هایی مواجه است. روش‌های مختلفی برای فشرده‌سازی این مدل‌ها وجود دارد، از جمله:

• تقطیر (Distillation): انتقال دانش از یک مدل بزرگ به یک مدل کوچک‌تر.
• کوانتیزاسیون (Quantization): کاهش دقت اعداد برای کاهش حجم حافظه.
• هرس ساختاریافته (Structured Pruning): حذف کامل لایه‌ها یا نورون‌های یک شبکه.
• هرس غیرساختاریافته (Unstructured Pruning): حذف وزن‌های منفرد در یک شبکه.

هدف از این روش‌ها کاهش حجم مدل و افزایش سرعت استنتاج با کمترین افت ممکن در دقت است.

این مقاله توسط تیمی از محققان به سرپرستی Eldar Kurtic، Daniel Campos، Tuan Nguyen، Elias Frantar، Mark Kurtz، Benjamin Fineran، Michael Goin و Dan Alistarh نوشته شده است. تمرکز اصلی این تیم بر روی بهینه‌سازی مدل‌های زبانی بزرگ، به ویژه مدل‌های مبتنی بر ترنسفورمر، برای استفاده در محیط‌های با منابع محدود (مانند دستگاه‌های لبه) است. این محققان در زمینه‌های مختلفی از جمله یادگیری ماشین، پردازش زبان طبیعی، و معماری‌های سخت‌افزاری برای یادگیری عمیق تخصص دارند.

این مقاله به بررسی عمیق مبادله بین دقت و فشرده‌سازی برای هرس وزن‌های غیرساختاریافته در مدل‌های BERT می‌پردازد. نویسندگان روش جدیدی به نام Optimal BERT Surgeon (oBERT) را معرفی می‌کنند. oBERT یک روش کارآمد و دقیق برای هرس وزن‌ها بر اساس اطلاعات مرتبه دومِ تخمینی است. این روش در هر دو مرحله‌ی آموزش زبان (پیش‌آموزش و تنظیم دقیق) نتایج بسیار خوبی ارائه می‌دهد. به طور خلاصه، oBERT پیشرفت‌هایی در روش‌های هرس مرتبه دومِ غیرساختاریافته ایجاد می‌کند، به این ترتیب که امکان هرس بلوک‌هایی از وزن‌ها را فراهم می‌کند و برای مدل‌های بزرگ مانند BERT قابل استفاده است.

علاوه بر این، مقاله تاثیر استفاده از oBERT را در ترکیب با سایر روش‌های فشرده‌سازی برای به دست آوردن مدل‌های بسیار فشرده و در عین حال دقیق برای استقرار در دستگاه‌های لبه بررسی می‌کند. نتایج نشان می‌دهد که این مدل‌ها مرزهای مدل‌های پراکنده (sparse) BERT را از نظر حجم مدل، سرعت استنتاج و دقت وظایف مختلف به طور قابل توجهی جابه‌جا می‌کنند. به عنوان مثال، نسبت به مدل متراکم BERT-base، فشرده‌سازی ۱۰ برابری در حجم مدل (به مگابایت) با کمتر از ۱ درصد افت دقت، افزایش ۱۰ برابری در سرعت استنتاج CPU با کمتر از ۲ درصد افت دقت، و افزایش ۲۹ برابری در سرعت استنتاج CPU با کمتر از ۷.۵ درصد افت دقت حاصل شده است.

روش‌شناسی تحقیق در این مقاله شامل چند مرحله اصلی است:

1. تحلیل مبادله دقت و فشرده‌سازی: بررسی دقیق تاثیر هرس وزن‌های غیرساختاریافته بر دقت مدل BERT. این مرحله شامل آزمایش با نرخ‌های مختلف هرس و ارزیابی عملکرد مدل بر روی مجموعه‌داده‌های مختلف است.
2. توسعه روش oBERT: طراحی و پیاده‌سازی یک روش جدید هرس بر اساس اطلاعات مرتبه دومِ تخمینی. این روش با هدف دستیابی به تعادل بهتر بین دقت و فشرده‌سازی توسعه یافته است.
3. مقایسه با روش‌های موجود: مقایسه عملکرد oBERT با سایر روش‌های هرس موجود، از جمله روش‌های مبتنی بر اطلاعات مرتبه اول و روش‌های هرس ساختاریافته.
4. ارزیابی در مراحل پیش‌آموزش و تنظیم دقیق: بررسی تاثیر oBERT در هر دو مرحله آموزش مدل‌های زبانی. این کار با هدف اطمینان از اثربخشی روش در سناریوهای مختلف انجام شده است.
5. ترکیب با سایر روش‌های فشرده‌سازی: استفاده از oBERT در ترکیب با سایر روش‌های فشرده‌سازی مانند کوانتیزاسیون و تقطیر، به منظور دستیابی به مدل‌های بسیار فشرده و در عین حال دقیق.
6. ارزیابی بر روی دستگاه‌های لبه: آزمایش و ارزیابی عملکرد مدل‌های فشرده‌شده بر روی دستگاه‌های لبه با منابع محدود، به منظور بررسی کاربردی بودن روش در شرایط واقعی.

به طور کلی، روش‌شناسی تحقیق مبتنی بر یک رویکرد تجربی است که شامل آزمایش‌های گسترده، تحلیل دقیق نتایج و مقایسه با روش‌های موجود است. نویسندگان از ابزارها و چارچوب‌های استاندارد در زمینه یادگیری ماشین، مانند Transformers و SparseML، برای پیاده‌سازی و ارزیابی روش خود استفاده کرده‌اند. کد منبع این تحقیق به صورت کامل با Transformers و SparseML ادغام شده و در دسترس عموم قرار داده شده است.

یافته‌های کلیدی این مقاله عبارتند از:

• oBERT به طور قابل توجهی بهتر از روش‌های هرس مرتبه اول عمل می‌کند: oBERT با استفاده از اطلاعات مرتبه دوم، می‌تواند وزن‌های کم‌اهمیت‌تر را با دقت بیشتری شناسایی و حذف کند، در نتیجه به فشرده‌سازی بالاتری با حفظ دقت بهتر دست می‌یابد.
• oBERT مقیاس‌پذیر است و برای مدل‌های بزرگ مانند BERT قابل استفاده است: بسیاری از روش‌های هرس مرتبه دوم به دلیل پیچیدگی محاسباتی بالا برای مدل‌های بزرگ قابل استفاده نیستند. oBERT با استفاده از تخمین‌های کارآمد، این مشکل را حل کرده است.
• oBERT در ترکیب با سایر روش‌های فشرده‌سازی نتایج بسیار خوبی ارائه می‌دهد: ترکیب oBERT با کوانتیزاسیون و تقطیر منجر به ایجاد مدل‌هایی شده است که به طور قابل توجهی کوچک‌تر، سریع‌تر و دقیق‌تر از مدل‌های موجود هستند.
• مدل‌های فشرده‌شده با oBERT برای استقرار در دستگاه‌های لبه مناسب هستند: کاهش چشمگیر حجم مدل و افزایش سرعت استنتاج، oBERT را به یک گزینه جذاب برای استفاده در دستگاه‌های لبه با منابع محدود تبدیل کرده است.

به عنوان مثال، نتایج نشان می‌دهد که با استفاده از oBERT می‌توان حجم مدل BERT-base را تا ۱۰ برابر کاهش داد، در حالی که افت دقت کمتر از ۱ درصد است. این امر امکان اجرای مدل‌های پیچیده را بر روی دستگاه‌هایی مانند تلفن‌های همراه و دستگاه‌های اینترنت اشیا (IoT) فراهم می‌کند.

کاربردها و دستاوردهای این تحقیق بسیار گسترده هستند:

• بهبود عملکرد برنامه‌های کاربردی NLP در دستگاه‌های لبه: مدل‌های فشرده‌شده با oBERT می‌توانند در برنامه‌هایی مانند ترجمه ماشینی، تشخیص گفتار و تحلیل احساسات در دستگاه‌های لبه استفاده شوند و تجربه کاربری بهتری را ارائه دهند.
• کاهش هزینه‌های محاسباتی و انرژی: فشرده‌سازی مدل‌ها منجر به کاهش قابل توجهی در هزینه‌های محاسباتی و مصرف انرژی می‌شود، که برای شرکت‌ها و سازمان‌هایی که از مدل‌های زبانی بزرگ استفاده می‌کنند، بسیار مهم است.
• امکان دسترسی بیشتر به فناوری NLP: با کاهش حجم مدل‌ها و افزایش سرعت استنتاج، امکان استفاده از فناوری NLP برای افراد و سازمان‌هایی که منابع محدودی دارند، فراهم می‌شود.
• پیشرفت در تحقیقات یادگیری ماشین: این تحقیق به توسعه روش‌های جدید و کارآمدتر برای فشرده‌سازی مدل‌های زبانی بزرگ کمک می‌کند و راه را برای تحقیقات بیشتر در این زمینه هموار می‌کند.

به عنوان نمونه، imagine کنید یک شرکت تولید کننده خودروهای خودران می‌خواهد از مدل‌های زبانی بزرگ برای پردازش دستورات صوتی راننده استفاده کند. با استفاده از oBERT، این شرکت می‌تواند یک مدل بسیار فشرده و سریع را بر روی سیستم‌های داخلی خودرو مستقر کند، بدون اینکه نیازی به اتصال به اینترنت یا استفاده از منابع محاسباتی ابری داشته باشد.

مقاله “جراح بهینه‌ی بِرت: هرس مرتبه دومِ مقیاس‌پذیر و دقیق برای مدل‌های زبانی بزرگ” یک گام مهم در جهت فشرده‌سازی و بهینه‌سازی مدل‌های زبانی مبتنی بر ترنسفورمر است. روش oBERT که در این مقاله معرفی شده است، یک راهکار کارآمد و مقیاس‌پذیر برای هرس وزن‌های غیرساختاریافته است که می‌تواند به طور قابل توجهی حجم مدل‌ها را کاهش داده و سرعت استنتاج را افزایش دهد، در حالی که دقت آن‌ها را حفظ می‌کند. این امر امکان استفاده از مدل‌های پیچیده NLP را در دستگاه‌های لبه با منابع محدود فراهم می‌کند و به پیشرفت در زمینه‌های مختلفی از جمله برنامه‌های کاربردی NLP، کاهش هزینه‌های محاسباتی و دسترسی بیشتر به فناوری NLP کمک می‌کند. تحقیقات آتی می‌تواند بر روی بهبود بیشتر روش oBERT، بررسی کاربرد آن در سایر مدل‌های زبانی و توسعه روش‌های جدید برای ترکیب آن با سایر روش‌های فشرده‌سازی تمرکز کند.