مدل‌های زبانی مبتنی بر ترانسفورمرها به رویکردی استاندارد برای حل وظایف پردازش زبان طبیعی (NLP) تبدیل شده‌اند. این مدل‌ها، با توانایی خود در درک و تولید متن، انقلاب بزرگی در زمینه‌های مختلف از جمله ترجمه ماشینی، خلاصه‌سازی متن، و پاسخ به سؤالات ایجاد کرده‌اند. با این حال، استفاده از این مدل‌ها در صنعت اغلب نیازمند حداکثر بازدهی (throughput) است تا بتوان محدودیت‌های زمانی مشخص (latency constraints) را رعایت کرد. این محدودیت‌ها مانع از استفاده از مدل‌های ترانسفورمر در محیط‌های عملیاتی (production) می‌شود.

به عبارت دیگر، در حالی که این مدل‌ها از نظر دقت و عملکرد بسیار خوب هستند، اما اجرای آن‌ها، به‌خصوص در مقیاس بزرگ و با محدودیت‌های زمانی، می‌تواند چالش‌برانگیز باشد. این مسئله باعث شده است که محققان و مهندسان به دنبال راهکارهایی برای افزایش سرعت و کارایی این مدل‌ها باشند.

این مقاله توسط گروهی از محققان به سرپرستی هایهائو شن (Haihao Shen)، افیر زافریر (Ofir Zafrir) و همکارانشان از شرکت اینتل (Intel) نوشته شده است. زمینه اصلی تحقیق آن‌ها، بهینه‌سازی مدل‌های زبانی ترانسفورمر برای اجرای سریع‌تر و کارآمدتر بر روی پردازنده‌های مرکزی (CPUs) است.

این تیم تحقیقاتی با تمرکز بر مدل DistilBERT، که نسخه‌ای کوچک‌شده و سریع‌تر از مدل BERT است، تلاش کرده‌اند تا با استفاده از تکنیک‌های مختلف، عملکرد این مدل را در پردازنده‌های مرکزی بهبود بخشند. هدف نهایی آن‌ها، ارائه یک راهکار عملی و قابل‌استفاده برای استقرار مدل‌های ترانسفورمر در محیط‌های عملیاتی با محدودیت‌های زمانی است.

چکیده مقاله به این شرح است: به منظور پر کردن شکاف بین عملکرد بالای مدل‌های ترانسفورمر و محدودیت‌های عملیاتی، از تکنیک‌های فشرده‌سازی مدل مانند کوانتیزاسیون (quantization) و هرس (pruning) می‌توان برای بهبود کارایی استنتاج (inference efficiency) استفاده کرد. با این حال، این تکنیک‌های فشرده‌سازی نیاز به نرم‌افزارهای تخصصی برای اعمال و استقرار در مقیاس بزرگ دارند.

در این مقاله، یک پایپ‌لاین (pipeline) جدید برای ایجاد و اجرای مدل‌های ترانسفورمر سریع بر روی پردازنده‌های مرکزی پیشنهاد شده است. این پایپ‌لاین از تکنیک‌های هرس آگاه از سخت‌افزار (hardware-aware pruning)، انتقال دانش (knowledge distillation)، کوانتیزاسیون و موتور زمان اجرای استنتاج ترانسفورمر خود با کرنل‌های بهینه‌شده برای اپراتورهای تنک (sparse) و کوانتیزه شده استفاده می‌کند.

نویسندگان با ایجاد یک مدل Fast DistilBERT نشان داده‌اند که پایپ‌لاین پیشنهادی آن‌ها با حداقل افت دقت در بنچ‌مارک پاسخ به سؤالات SQuADv1.1 و با نتایج بازدهی تحت محدودیت‌ها و محیط‌های معمول تولید، بسیار کارآمد است. نتایج آن‌ها از عملکرد زمان اجرای DeepSparse Neural Magic تا 50% و سرعت عملکرد تا 4.1 برابر سریع‌تر از ONNX Runtime، بهتر است. کد منبع به صورت عمومی در دسترس است.

به طور خلاصه، این مقاله یک راهکار جامع برای بهینه‌سازی مدل‌های ترانسفورمر، به‌خصوص DistilBERT، برای اجرای سریع و کارآمد بر روی پردازنده‌های مرکزی ارائه می‌دهد. این راهکار شامل تکنیک‌های مختلفی از جمله هرس، انتقال دانش و کوانتیزاسیون است و با یک موتور زمان اجرای استنتاج بهینه‌شده پشتیبانی می‌شود.

روش‌شناسی تحقیق در این مقاله شامل چندین مرحله کلیدی است:

• هرس آگاه از سخت‌افزار: در این مرحله، با استفاده از تکنیک‌های هرس، اتصالات غیرضروری در شبکه عصبی حذف می‌شوند. این کار باعث کاهش حجم مدل و افزایش سرعت استنتاج می‌شود. نکته مهم این است که هرس به گونه‌ای انجام می‌شود که با معماری سخت‌افزاری پردازنده مرکزی سازگار باشد.
• انتقال دانش: در این مرحله، از یک مدل بزرگ‌تر و دقیق‌تر (مدل معلم) برای آموزش یک مدل کوچک‌تر (مدل دانش‌آموز) استفاده می‌شود. هدف این است که مدل کوچک‌تر بتواند دانش مدل بزرگ‌تر را بدون از دست دادن دقت زیاد، یاد بگیرد. در این مقاله، مدل DistilBERT به عنوان مدل دانش‌آموز و مدل BERT به عنوان مدل معلم استفاده شده است. به عنوان مثال، فرض کنید یک دانشجو در حال یادگیری از یک استاد باتجربه است. استاد به او نکات کلیدی را منتقل می‌کند و دانشجو سعی می‌کند این نکات را به بهترین شکل ممکن یاد بگیرد.
• کوانتیزاسیون: در این مرحله، وزن‌ها و فعال‌سازی‌های مدل به مقادیر کم‌دقت‌تر تبدیل می‌شوند. به عنوان مثال، به جای استفاده از اعداد 32 بیتی، از اعداد 8 بیتی استفاده می‌شود. این کار باعث کاهش حجم مدل و افزایش سرعت محاسبات می‌شود.
• موتور زمان اجرای استنتاج بهینه‌شده: نویسندگان یک موتور زمان اجرای استنتاج سفارشی برای مدل‌های ترانسفورمر ایجاد کرده‌اند. این موتور با استفاده از کرنل‌های بهینه‌شده برای اپراتورهای تنک و کوانتیزه شده، سرعت استنتاج را به طور قابل توجهی افزایش می‌دهد. کرنل‌های بهینه‌شده مانند دستورالعمل‌های دقیق برای اجرای یک برنامه هستند. این دستورالعمل‌ها به گونه‌ای طراحی شده‌اند که بیشترین کارایی را در سخت‌افزار مورد نظر داشته باشند.
• ارزیابی با استفاده از بنچ‌مارک SQuADv1.1: برای ارزیابی عملکرد مدل Fast DistilBERT، از بنچ‌مارک SQuADv1.1 استفاده شده است. این بنچ‌مارک شامل مجموعه‌ای از سؤالات و پاسخ‌های مربوط به یک متن است. مدل باید با خواندن متن، به سؤالات پاسخ دهد.

یافته‌های کلیدی این تحقیق به شرح زیر است:

• مدل Fast DistilBERT با حداقل افت دقت: مدل Fast DistilBERT با استفاده از پایپ‌لاین پیشنهادی، توانسته است با حداقل افت دقت در بنچ‌مارک SQuADv1.1، به عملکرد بسیار خوبی دست یابد. این نشان می‌دهد که تکنیک‌های فشرده‌سازی مورد استفاده، توانسته‌اند مدل را به طور موثر بهینه‌سازی کنند.
• بهبود عملکرد نسبت به DeepSparse و ONNX Runtime: نتایج نشان می‌دهد که مدل Fast DistilBERT تا 50% از عملکرد زمان اجرای DeepSparse Neural Magic و تا 4.1 برابر از سرعت عملکرد ONNX Runtime بهتر است. این بهبود عملکرد، نشان‌دهنده کارایی بالای پایپ‌لاین پیشنهادی است.
• راهکار عملی و قابل‌استفاده: این تحقیق یک راهکار عملی و قابل‌استفاده برای بهینه‌سازی مدل‌های ترانسفورمر برای اجرای سریع و کارآمد بر روی پردازنده‌های مرکزی ارائه می‌دهد. این راهکار می‌تواند به طور مستقیم در محیط‌های عملیاتی مورد استفاده قرار گیرد.
• در دسترس بودن کد منبع: کد منبع این تحقیق به صورت عمومی در دسترس است، که این امر به سایر محققان و مهندسان کمک می‌کند تا از این راهکار در پروژه‌های خود استفاده کنند و آن را بهبود بخشند.

این تحقیق دارای کاربردها و دستاوردهای مهمی است:

• بهبود عملکرد برنامه‌های پردازش زبان طبیعی: با استفاده از این راهکار، می‌توان عملکرد برنامه‌های پردازش زبان طبیعی را در محیط‌های عملیاتی با محدودیت‌های زمانی، به طور قابل توجهی بهبود بخشید. به عنوان مثال، می‌توان سرعت پاسخگویی یک ربات پاسخگو (chatbot) را افزایش داد یا سرعت ترجمه ماشینی را بهبود بخشید.
• کاهش هزینه‌های سخت‌افزاری: با اجرای مدل‌های ترانسفورمر بر روی پردازنده‌های مرکزی به جای پردازنده‌های گرافیکی (GPUs)، می‌توان هزینه‌های سخت‌افزاری را کاهش داد.
• تسریع تحقیقات در زمینه پردازش زبان طبیعی: در دسترس بودن کد منبع این تحقیق، به سایر محققان و مهندسان کمک می‌کند تا در زمینه بهینه‌سازی مدل‌های ترانسفورمر، تحقیقات خود را تسریع کنند.
• استقرار آسان‌تر مدل‌ها در محیط‌های عملیاتی: این راهکار، استقرار مدل‌های ترانسفورمر را در محیط‌های عملیاتی آسان‌تر می‌کند، زیرا نیازی به سخت‌افزارهای تخصصی ندارد.

در مجموع، این مقاله یک راهکار نوآورانه و عملی برای اجرای سریع و کارآمد مدل‌های ترانسفورمر، به‌ویژه DistilBERT، بر روی پردازنده‌های مرکزی ارائه می‌دهد. این راهکار با استفاده از تکنیک‌های هرس، انتقال دانش، کوانتیزاسیون و یک موتور زمان اجرای استنتاج بهینه‌شده، توانسته است عملکرد مدل‌ها را به طور قابل توجهی بهبود بخشد و آن‌ها را برای استفاده در محیط‌های عملیاتی مناسب سازد.

یافته‌های این تحقیق نشان می‌دهد که می‌توان با استفاده از تکنیک‌های مناسب، مدل‌های پیچیده ترانسفورمر را به گونه‌ای بهینه‌سازی کرد که بتوانند به طور کارآمد بر روی سخت‌افزارهای معمولی مانند پردازنده‌های مرکزی اجرا شوند. این امر باعث می‌شود که این مدل‌ها برای طیف گسترده‌تری از کاربردها قابل دسترس باشند و به پیشرفت‌های بیشتری در زمینه پردازش زبان طبیعی منجر شوند.