رشد فزاینده مدل‌های زبانی از پیش آموزش‌دیده (PLMs) مانند BERT و مشتقات آن، تحولی شگرف در پردازش زبان طبیعی (NLP) ایجاد کرده است. این مدل‌ها با استفاده از حجم عظیمی از داده‌ها آموزش داده می‌شوند و قادرند در وظایف متنوعی از جمله ترجمه ماشینی، خلاصه‌سازی متن، و پاسخ به سوالات، عملکردی چشمگیر ارائه دهند. با این حال، این قدرت و توانایی، هزینه‌های قابل توجهی نیز به همراه دارد.

اندازه بزرگ این مدل‌ها، نیازمند منابع محاسباتی بسیار بالایی برای آموزش و استنتاج (inference) است. این امر، دسترسی به این مدل‌ها را برای بسیاری از محققان و توسعه‌دهندگان، به خصوص در محیط‌های با منابع محدود، دشوار می‌کند. علاوه بر این، آموزش مدل‌های بزرگ، مصرف انرژی زیادی را نیز به دنبال دارد که اثرات زیست‌محیطی قابل توجهی دارد. بنابراین، فشرده‌سازی مدل‌های زبانی، به منظور کاهش اندازه و افزایش سرعت استنتاج، به یک حوزه تحقیقاتی بسیار مهم تبدیل شده است.

مقاله “واکاوی فشرده‌سازی کرانه‌ای پارامترها در مدل‌های زبان از پیش آموزش‌دیده” توسط Yuxin Ren, Benyou Wang, Lifeng Shang, Xin Jiang, و Qun Liu ارائه شده است. این محققان با تمرکز بر چالش‌های مربوط به اندازه بزرگ مدل‌های زبانی، به دنبال راهکارهایی برای فشرده‌سازی این مدل‌ها با حفظ دقت و کارایی مطلوب هستند.

زمینه تحقیقاتی این مقاله، در حوزه پردازش زبان طبیعی و یادگیری ماشین قرار دارد. این تحقیق به طور خاص بر روی تکنیک‌های فشرده‌سازی مدل، به منظور کاهش اندازه و افزایش سرعت استنتاج مدل‌های زبانی از پیش آموزش‌دیده، تمرکز دارد. هدف نهایی این تحقیقات، امکان‌پذیر ساختن استفاده از این مدل‌های قدرتمند در محیط‌های با منابع محدود و کاهش اثرات زیست‌محیطی ناشی از آموزش و استنتاج مدل‌های بزرگ است.

این مقاله به بررسی امکان فشرده‌سازی بیشتر مدل‌های زبانی از پیش آموزش‌دیده (PLMs) می‌پردازد، به‌ویژه مدل‌های مبتنی بر معماری Transformer. تمرکز اصلی بر روی استفاده از تجزیه تنسوری (tensor decomposition) به عنوان یک روش بالقوه اما کمتر مورد بررسی قرار گرفته برای فشرده‌سازی مدل است.

نویسندگان دو پروتکل تجزیه و بازسازی را پیشنهاد می‌کنند تا کارایی و اثربخشی فشرده‌سازی را بهبود بخشند. نتایج نشان می‌دهد که مدل BERT فشرده‌شده با 1/7 پارامتر در لایه‌های Transformer، عملکردی مشابه و گاهی بهتر از مدل اصلی BERT در محک GLUE (General Language Understanding Evaluation) دارد.

علاوه بر این، یک نسخه بسیار کوچک‌تر با 1/48 پارامتر رمزگذار (encoder) (یعنی کمتر از 2 میلیون پارامتر، به جز لایه embedding) به دست آمده است که 96.7% از عملکرد BERT-base را با 2.7 برابر سرعت بیشتر در استنتاج ارائه می‌دهد. برای نشان دادن اینکه روش پیشنهادی مستقل از روش‌های فشرده‌سازی موجود مانند تقطیر دانش (knowledge distillation) است، نویسندگان مزایای روش پیشنهادی را بر روی یک BERT تقطیر شده نیز بررسی کرده‌اند.

روش‌شناسی تحقیق در این مقاله شامل چند مرحله کلیدی است:

• تجزیه تنسوری: استفاده از تکنیک‌های تجزیه تنسوری برای کاهش ابعاد ماتریس‌های وزن در لایه‌های Transformer مدل BERT. این کار با هدف کاهش تعداد پارامترهای مدل انجام می‌شود. برای مثال، یک ماتریس بزرگ وزن (مانند یک لایه fully connected) به چندین ماتریس کوچکتر تجزیه می‌شود و سپس این ماتریس‌های کوچکتر جایگزین ماتریس اصلی می‌شوند.
• پروتکل‌های تجزیه و بازسازی: طراحی و پیاده‌سازی دو پروتکل جدید برای بهبود فرآیند تجزیه و بازسازی تنسورها. این پروتکل‌ها به گونه‌ای طراحی شده‌اند که دقت مدل را در طول فرآیند فشرده‌سازی حفظ کنند.
  • پروتکل تجزیه: نحوه انتخاب تنسورهایی که باید تجزیه شوند و روش تجزیه آن‌ها را مشخص می‌کند.
  • پروتکل بازسازی: نحوه بازسازی مدل پس از تجزیه را تعیین می‌کند. این پروتکل‌ها نقش مهمی در حفظ عملکرد مدل دارند.
• ارزیابی تجربی: ارزیابی عملکرد مدل‌های فشرده‌شده بر روی مجموعه داده GLUE. این مجموعه داده شامل چندین وظیفه مختلف پردازش زبان طبیعی است که برای ارزیابی توانایی‌های مدل در درک و استدلال زبانی استفاده می‌شود.
• مقایسه با مدل‌های پایه: مقایسه عملکرد مدل‌های فشرده‌شده با مدل BERT اصلی و همچنین مدل‌های BERT تقطیر شده. این مقایسه به منظور نشان دادن مزایای روش پیشنهادی نسبت به سایر روش‌های فشرده‌سازی انجام می‌شود.

برای مثال، فرض کنید یک لایه fully connected در مدل BERT دارای یک ماتریس وزن با ابعاد (768, 768) باشد. با استفاده از تجزیه تنسوری، این ماتریس می‌تواند به دو ماتریس با ابعاد (768, k) و (k, 768) تجزیه شود، که در آن k یک عدد کوچکتر از 768 است. اگر k برابر با 100 باشد، تعداد پارامترهای مورد نیاز برای ذخیره این دو ماتریس بسیار کمتر از ماتریس اصلی خواهد بود.

یافته‌های کلیدی این تحقیق به شرح زیر است:

• فشرده‌سازی قابل توجه با حفظ عملکرد: مدل BERT فشرده‌شده با 1/7 پارامتر در لایه‌های Transformer، عملکردی مشابه و گاهی بهتر از مدل اصلی BERT در محک GLUE دارد. این نشان می‌دهد که می‌توان مدل‌های زبانی را به طور قابل توجهی فشرده کرد بدون اینکه دقت آن‌ها به طور چشمگیری کاهش یابد.
• مدل بسیار کوچک با کارایی بالا: یک نسخه بسیار کوچک‌تر با 1/48 پارامتر رمزگذار (کمتر از 2 میلیون پارامتر) به دست آمده است که 96.7% از عملکرد BERT-base را با 2.7 برابر سرعت بیشتر در استنتاج ارائه می‌دهد. این یافته نشان می‌دهد که می‌توان مدل‌های زبانی را به حدی کوچک کرد که امکان استفاده از آن‌ها در دستگاه‌های با منابع محدود فراهم شود.
• روش مستقل از تقطیر دانش: مزایای روش پیشنهادی بر روی یک BERT تقطیر شده نیز نشان داده شده است. این نشان می‌دهد که روش تجزیه تنسوری می‌تواند به طور مکمل با سایر تکنیک‌های فشرده‌سازی مانند تقطیر دانش ترکیب شود تا عملکرد مدل را بیش از پیش بهبود بخشد.

به طور خلاصه، این تحقیق نشان می‌دهد که تجزیه تنسوری یک روش مؤثر برای فشرده‌سازی مدل‌های زبانی از پیش آموزش‌دیده است و می‌تواند به کاهش اندازه و افزایش سرعت استنتاج این مدل‌ها کمک کند.

دستاوردها و کاربردهای این تحقیق بسیار گسترده است و می‌تواند تاثیرات قابل توجهی در حوزه پردازش زبان طبیعی داشته باشد:

• استقرار مدل‌ها در محیط‌های با منابع محدود: مدل‌های فشرده‌شده می‌توانند در دستگاه‌های تلفن همراه، دستگاه‌های اینترنت اشیا (IoT)، و سایر محیط‌های با منابع محدود مستقر شوند. این امر امکان استفاده از مدل‌های زبانی قدرتمند را در طیف گسترده‌تری از کاربردها فراهم می‌کند.
• کاهش هزینه‌های محاسباتی: فشرده‌سازی مدل‌ها می‌تواند به کاهش هزینه‌های محاسباتی مربوط به آموزش و استنتاج کمک کند. این امر می‌تواند دسترسی به مدل‌های زبانی را برای محققان و توسعه‌دهندگان با بودجه محدود آسان‌تر کند.
• کاهش اثرات زیست‌محیطی: کاهش حجم مدل‌ها و افزایش سرعت استنتاج، منجر به کاهش مصرف انرژی و در نتیجه کاهش اثرات زیست‌محیطی ناشی از آموزش و استفاده از مدل‌های زبانی می‌شود.
• بهبود سرعت استنتاج: افزایش سرعت استنتاج باعث می‌شود که مدل‌ها بتوانند در زمان واقعی پاسخگو باشند. این امر برای بسیاری از کاربردها مانند چت‌بات‌ها و سیستم‌های پاسخ به سوالات بسیار مهم است.
• توسعه روش‌های فشرده‌سازی بهتر: این تحقیق می‌تواند به عنوان پایه‌ای برای توسعه روش‌های فشرده‌سازی بهتر و کارآمدتر در آینده عمل کند.

مقاله “واکاوی فشرده‌سازی کرانه‌ای پارامترها در مدل‌های زبان از پیش آموزش‌دیده” گامی مهم در جهت کاهش اندازه و افزایش کارایی مدل‌های زبانی از پیش آموزش‌دیده است. این تحقیق نشان می‌دهد که تجزیه تنسوری یک روش مؤثر برای فشرده‌سازی این مدل‌ها است و می‌تواند به کاهش هزینه‌های محاسباتی، کاهش اثرات زیست‌محیطی، و بهبود سرعت استنتاج کمک کند.

یافته‌های این تحقیق می‌تواند کاربردهای گسترده‌ای در حوزه‌های مختلف از جمله دستگاه‌های تلفن همراه، دستگاه‌های اینترنت اشیا، و سیستم‌های پاسخ به سوالات داشته باشد. با توجه به اهمیت روزافزون مدل‌های زبانی در دنیای امروز، تحقیقات در زمینه فشرده‌سازی مدل‌ها از اهمیت ویژه‌ای برخوردار است و می‌تواند نقش مهمی در گسترش دسترسی به این فناوری قدرتمند ایفا کند.

این مقاله نشان می‌دهد که هنوز پتانسیل زیادی برای فشرده‌سازی مدل‌های زبانی وجود دارد و تحقیقات بیشتری در این زمینه می‌تواند منجر به توسعه مدل‌های کوچکتر، سریعتر و کارآمدتر شود.