در سال‌های اخیر، پردازش زبان طبیعی (NLP) با ظهور مدل‌های زبانی از پیش‌آموزش‌دیده (Pre-trained Language Models – PLMs) مانند BERT، GPT و RoBERTa دستخوش تحولی شگرف شده است. این مدل‌ها با بهره‌گیری از معماری ترنسفورمر و آموزش بر روی حجم عظیمی از داده‌های متنی، به ستون فقرات بسیاری از کاربردهای پیشرفته NLP، از جمله ترجمه ماشینی، خلاصه‌سازی متن، تحلیل احساسات و سیستم‌های پرسش و پاسخ تبدیل شده‌اند. با این حال، قدرت چشمگیر این مدل‌ها با هزینه‌ای گزاف همراه است: اندازه بسیار بزرگ و نیاز به منابع محاسباتی سنگین.

این مدل‌ها اغلب صدها میلیون یا حتی میلیاردها پارامتر دارند که اجرای آن‌ها را بر روی دستگاه‌های با منابع محدود مانند تلفن‌های هوشمند، دستگاه‌های اینترنت اشیاء (IoT) یا حتی سرورهای معمولی دشوار و پرهزینه می‌سازد. این چالش، استقرار عملی این فناوری‌های قدرتمند را در دنیای واقعی محدود می‌کند. در پاسخ به این مشکل، حوزه فشرده‌سازی مدل (Model Compression) با هدف کاهش حجم و پیچیدگی محاسباتی مدل‌ها بدون افت شدید در دقت، شکل گرفته است.

مقاله “TextPruner” که توسط زیچینگ یانگ، ییمینگ کوی و ژیگانگ چن ارائه شده است، مستقیماً به این چالش می‌پردازد. این پژوهش یک ابزارگان (Toolkit) متن‌باز و کاربردی به نام TextPruner را معرفی می‌کند که به طور خاص برای «هرس کردن» مدل‌های زبانی از پیش‌آموزش‌دیده طراحی شده است. اهمیت این مقاله در ارائه یک راهکار عملی، سریع و آسان برای کوچک‌سازی این غول‌های محاسباتی نهفته است، به طوری که توسعه‌دهندگان و پژوهشگران بتوانند به سادگی مدل‌های بهینه و سبک‌تری را برای کاربردهای مختلف ایجاد کنند.

نویسندگان این مقاله، زیچینگ یانگ (Ziqing Yang)، ییمینگ کوی (Yiming Cui) و ژیگانگ چن (Zhigang Chen)، پژوهشگرانی فعال در حوزه محاسبات و زبان (Computation and Language) هستند. این حوزه علمی در تقاطع علوم کامپیوتر، هوش مصنوعی و زبان‌شناسی قرار دارد و بر توسعه الگوریتم‌ها و مدل‌هایی تمرکز دارد که به ماشین‌ها امکان درک، تولید و تعامل با زبان انسان را می‌دهند.

این تحقیق در ادامه روندی رو به رشد در جامعه NLP برای بهینه‌سازی مدل‌های بزرگ انجام شده است. در حالی که موج اول تحقیقات بر روی ساخت مدل‌های بزرگ‌تر و قوی‌تر متمرکز بود، موج دوم به دنبال کارآمدتر کردن، سریع‌تر کردن و در دسترس قرار دادن این مدل‌ها برای کاربردهای عملی است. TextPruner نمونه‌ای برجسته از این تلاش‌هاست که با ارائه یک ابزار متن‌باز، به دموکراتیزه کردن استفاده از مدل‌های زبانی پیشرفته کمک می‌کند.

مقاله با تاکید بر فراگیری مدل‌های زبانی از پیش‌آموزش‌دیده در NLP آغاز می‌شود و بلافاصله چالش اصلی، یعنی نیاز شدید آن‌ها به منابع محاسباتی را مطرح می‌کند. نویسندگان TextPruner را به عنوان یک ابزارگان هرس مدل متن‌باز معرفی می‌کنند که با هدف فشرده‌سازی سریع و آسان مدل‌های زبانی طراحی شده است.

ویژگی اصلی TextPruner، تمرکز آن بر روش‌های هرس ساختاریافته پس از آموزش (Structured Post-training Pruning) است. این رویکرد به جای حذف وزن‌های منفرد و پراکنده، به حذف بلوک‌های کاملی از مدل (مانند نورون‌ها، لایه‌ها یا سرهای توجه) می‌پردازد که منجر به کاهش واقعی حجم و افزایش سرعت استنتاج می‌شود. مهم‌تر اینکه این فرآیند پس از اتمام آموزش اولیه مدل انجام می‌شود و نیازی به بازآموزی پرهزینه از ابتدا ندارد.

این ابزارگان شامل دو نوع هرس اصلی است:

• هرس واژگان (Vocabulary Pruning): حذف توکن‌های نادر یا غیرضروری از واژگان مدل برای کاهش اندازه لایه эмبدینگ.
• هرس ترنسفورمر (Transformer Pruning): حذف اجزای داخلی معماری ترنسفورمر مانند سرهای توجه (attention heads) یا لایه‌های شبکه پیشخور (feed-forward networks).

نوآوری کلیدی دیگر این مقاله، ارائه یک روش هرس خودنظارتی (Self-supervised Pruning) است. این روش به TextPruner اجازه می‌دهد تا بدون نیاز به داده‌های برچسب‌دار برای یک وظیفه خاص، بخش‌های غیرضروری مدل را شناسایی و حذف کند. این ویژگی در سناریوهایی که داده‌های برچسب‌دار کمیاب یا گران هستند، بسیار ارزشمند است. در نهایت، آزمایش‌های انجام‌شده بر روی چندین وظیفه NLP نشان می‌دهد که TextPruner قادر است به طور موثر حجم مدل را کاهش دهد، بدون آنکه نیاز به بازآموزی کامل مدل باشد.

روش‌شناسی TextPruner بر پایه اصول هرس ساختاریافته و کارآمدی بنا شده است. این رویکرد چندلایه، انعطاف‌پذیری بالایی را برای بهینه‌سازی مدل‌های مختلف فراهم می‌کند.

الف) هرس ساختاریافته پس از آموزش

برخلاف هرس غیراصلی (unstructured pruning) که با صفر کردن وزن‌های منفرد، اغلب منجر به ماتریس‌های پراکنده می‌شود و به سخت‌افزار خاص برای افزایش سرعت نیاز دارد، هرس ساختاریافته با حذف کامل اجزای مدل (مانند یک ستون در ماتریس وزن)، مستقیماً به کاهش پارامترها و عملیات محاسباتی (FLOPs) منجر می‌شود. انجام این فرآیند پس از آموزش، به این معنی است که می‌توان یک مدل از پیش‌آموزش‌دیده استاندارد را برداشت و بدون نیاز به تکرار فرآیند پرهزینه پیش‌آموزی، آن را فشرده کرد.

ب) انواع هرس در TextPruner

• هرس واژگان: بسیاری از مدل‌های زبانی عمومی دارای واژگانی با ده‌ها هزار توکن هستند. اما برای یک کاربرد خاص (مثلاً تحلیل متون حقوقی)، بخش بزرگی از این واژگان هرگز استفاده نمی‌شود. TextPruner با شناسایی و حذف این توکن‌های کم‌کاربرد از لایه ورودی (embedding layer)، به طور قابل توجهی از حجم مدل می‌کاهد.
• هرس ترنسفورمر: این بخش، هسته اصلی مدل را هدف قرار می‌دهد. TextPruner می‌تواند اجزای مختلف بلوک‌های ترنسفورمر را هرس کند. برای مثال، در مکانیزم توجه چندسر (Multi-head Attention)، برخی از سرها ممکن است اطلاعات تکراری یا کم‌اهمیت‌تری را استخراج کنند. این ابزار با استفاده از یک معیار اهمیت (importance score)، سرهای کم‌اهمیت را شناسایی و حذف می‌کند. به طور مشابه، می‌توان نورون‌ها را در لایه‌های شبکه پیشخور نیز حذف کرد.

ج) روش هرس خودنظارتی

این روش، نوآوری برجسته مقاله است. در روش‌های هرس سنتی، اهمیت اجزای مدل معمولاً بر اساس تأثیر آن‌ها بر عملکرد یک وظیفه خاص با داده‌های برچسب‌دار (مانند طبقه‌بندی متن) سنجیده می‌شود. اما روش خودنظارتی پیشنهادی، از خود وظیفه پیش‌آموزی مدل (مانند Masked Language Modeling در BERT) به عنوان یک معیار ارزیابی استفاده می‌کند. الگوریتم به این صورت عمل می‌کند:

۱. یک مجموعه داده بزرگ بدون برچسب (مانند ویکی‌پدیا) فراهم می‌شود.

۲. برای هر جزء قابل هرس (مثلاً یک سر توجه)، مدل به طور موقت آن جزء را غیرفعال می‌کند.

۳. عملکرد مدل در وظیفه خودنظارتی (مثلاً پیش‌بینی کلمات ماسک‌گذاری‌شده) ارزیابی می‌شود.

۴. اجزایی که حذف آن‌ها کمترین آسیب را به عملکرد مدل در این وظیفه عمومی وارد می‌کند، به عنوان کاندیداهای اصلی برای هرس دائمی انتخاب می‌شوند.

این رویکرد نیاز به داده‌های برچسب‌دار را از بین می‌برد و فرآیند هرس را بسیار عمومی‌تر و قابل دسترس‌تر می‌کند.

آزمایش‌های تجربی نویسندگان بر روی مدل‌های استاندارد مانند BERT و وظایف مختلف بنچمارک GLUE، نتایج امیدوارکننده‌ای را به همراه داشته است:

• کاهش چشمگیر حجم و پیچیدگی: TextPruner توانست حجم مدل‌ها را به طور قابل توجهی (برای مثال، تا ۴۰٪) کاهش دهد و همزمان تعداد عملیات ممیز شناور (FLOPs) را نیز کم کند. این امر مستقیماً به کاهش مصرف حافظه و افزایش سرعت استنتاج منجر می‌شود.
• حفظ دقت با حداقل افت: مهم‌ترین یافته این است که این کاهش حجم با افت عملکرد بسیار ناچیزی همراه بود. در بسیاری از موارد، مدل‌های هرس‌شده بیش از ۹۷٪ از دقت مدل اصلی را حفظ کردند که نشان‌دهنده توانایی ابزار در شناسایی صحیح افزونگی‌های مدل است.
• کارایی هرس بدون بازآموزی: نتایج تأیید کردند که رویکرد هرس پس از آموزش بسیار کارآمد است. مدل‌ها بلافاصله پس از هرس و بدون هیچ‌گونه بازآموزی، عملکرد قابل قبولی داشتند. البته با یک فرآیند تنظیم دقیق (fine-tuning) کوتاه، می‌توان افت عملکرد جزئی را نیز جبران کرد.
• اثربخشی روش خودنظارتی: روش هرس خودنظارتی نتایجی نزدیک و قابل رقابت با روش‌های نظارت‌شده (که از داده‌های برچسب‌دار استفاده می‌کنند) به دست آورد. این یافته، پتانسیل بالای این رویکرد را برای کاربردهایی که در آن‌ها داده‌های برچسب‌دار موجود نیست، اثبات می‌کند.

TextPruner تنها یک پژوهش نظری نیست، بلکه یک دستاورد عملی با کاربردهای گسترده است:

• اجرای مدل‌های پیشرفته بر روی دستگاه‌های لبه: با کوچک‌سازی مدل‌ها، امکان اجرای الگوریتم‌های پیچیده NLP مستقیماً بر روی تلفن‌های همراه یا گجت‌های هوشمند فراهم می‌شود. این کار ضمن حفظ حریم خصوصی کاربر (چون داده‌ها به سرور ارسال نمی‌شوند)، تأخیر را نیز به شدت کاهش می‌دهد.
• کاهش هزینه‌های عملیاتی: برای شرکت‌هایی که سرویس‌های مبتنی بر هوش مصنوعی ارائه می‌دهند، مدل‌های سبک‌تر به معنای نیاز کمتر به سرورهای قدرتمند (GPU) و در نتیجه کاهش هزینه‌های زیرساخت و انرژی است. این امر به توسعه هوش مصنوعی سبز (Green AI) نیز کمک می‌کند.
• افزایش سرعت در کاربردهای آنی: در سیستم‌هایی مانند چت‌بات‌های پشتیبانی مشتری یا تحلیل آنی بازخوردها در شبکه‌های اجتماعی، سرعت پاسخ‌دهی حیاتی است. مدل‌های هرس‌شده با سرعت استنتاج بالاتر، تجربه کاربری بهتری را رقم می‌زنند.
• تسهیل پژوهش و توسعه: با ارائه یک ابزارگان متن‌باز، نویسندگان به جامعه علمی و صنعتی این امکان را می‌دهند که به سادگی مدل‌های خود را بهینه کنند. این امر به خصوص برای استارتاپ‌ها و تیم‌های تحقیقاتی با بودجه محدود بسیار ارزشمند است.

مقاله “TextPruner” یک راهکار جامع و عملی برای یکی از بزرگ‌ترین معضلات عصر مدل‌های زبانی بزرگ ارائه می‌دهد: مشکل اندازه و هزینه محاسباتی. این پژوهش با معرفی یک ابزارگان متن‌باز که از روش‌های هرس ساختاریافته، پس از آموزش و خودنظارتی بهره می‌برد، گامی مهم در جهت کارآمدسازی و دسترس‌پذیر کردن فناوری‌های پیشرفته پردازش زبان طبیعی برداشته است.

TextPruner نشان می‌دهد که می‌توان بدون قربانی کردن بخش زیادی از دقت، مدل‌های زبانی را به طور قابل توجهی کوچک‌تر و سریع‌تر کرد. نوآوری‌هایی مانند روش هرس خودنظارتی، موانع استفاده از این تکنیک‌ها را برای کاربردهای فاقد داده‌های برچسب‌دار برطرف می‌کند. در مجموع، این ابزارگان به عنوان یک دارایی ارزشمند برای جامعه NLP، مسیر را برای استقرار گسترده‌تر، پایدارتر و اقتصادی‌تر مدل‌های زبانی در دنیای واقعی هموار می‌سازد.