معرفی مقاله و اهمیت آن

در سال‌های اخیر، مدل‌های زبان مبتنی بر ترانسفورمر که به صورت پیش‌آموزش‌یافته (Pre-trained) هستند، تحولات شگرفی را در حوزه‌ی پردازش زبان طبیعی (NLP) رقم زده و عملکرد بی‌نظیری را در طیف وسیعی از وظایف به نمایش گذاشته‌اند. این مدل‌ها، از جمله BERT، RoBERTa و GPT، با توانایی‌شان در درک عمیق زبان و تولید متون منسجم، به ستون فقرات بسیاری از سیستم‌های هوش مصنوعی تبدیل شده‌اند. با این حال، کارایی خیره‌کننده‌ی آن‌ها با چالش بزرگی همراه است: اندازه بسیار بزرگ و پیچیدگی محاسباتی بالا. این مدل‌ها معمولاً دارای صدها میلیون یا حتی میلیاردها پارامتر هستند که استقرار آن‌ها را در سناریوهای با منابع محدود، نظیر دستگاه‌های موبایل، سنسورها یا سیستم‌های نهفته، به شدت دشوار و پرهزینه می‌کند.

در پاسخ به این چالش، پژوهش‌های متعددی بر روی تکنیک‌های هرس شبکه (Network Pruning) متمرکز شده‌اند. هرس شبکه فرآیندی است که طی آن اتصالات یا نورون‌های کم‌اهمیت در یک شبکه عصبی حذف می‌شوند تا مدل کوچک‌تر، سریع‌تر و کم‌مصرف‌تر شود، در حالی که دقت پیش‌بینی آن تا حد امکان حفظ شود. این پژوهش‌ها، به ویژه در چارچوب پارادایم پیش‌آموزش و سپس تنظیم دقیق (Pre-train then Fine-tune) که به طور گسترده در NLP پذیرفته شده است، تلاش می‌کنند این مدل‌های غول‌پیکر را برای محیط‌های واقعی کارآمد سازند.

مقاله حاضر با عنوان “بازاندیشی هرس شبکه‌ها در چارچوب پیش‌آموزش و تنظیم دقیق” دقیقاً به این معضل می‌پردازد و یک ناهماهنگی مهم را در ادبیات موجود برجسته می‌کند. در حالی که هرس شبکه در شبکه‌های عصبی کانولوشنی (CNNs) نتایج درخشانی به همراه داشته و اغلب هرس پراکنده (Sparse Pruning) را بر روش‌های چگال‌ترجیح داده است (مانند کاهش تعداد کانال‌ها یا لایه‌ها)، نتایج مشابه در مدل‌های ترانسفورمر مانند BERT، آن‌گونه که انتظار می‌رفت، چشمگیر نبوده‌اند. این مقاله با هدف پر کردن این شکاف، رویکردی نوین را برای هرس پراکنده مدل‌های BERT معرفی می‌کند که نه تنها به فشرده‌سازی بسیار بیشتر دست می‌یابد، بلکه دقت پیش‌بینی را نیز حفظ می‌کند. این پژوهش اهمیت بسزایی در ارتقاء کارایی مدل‌های هوش مصنوعی برای کاربردهای عملی دارد و راه را برای استقرار گسترده‌تر آن‌ها هموار می‌سازد.

نویسندگان و زمینه تحقیق

این مقاله توسط Dongkuan Xu، Ian E. H. Yen، Jinxi Zhao و Zhibin Xiao به رشته تحریر درآمده است. این تیم پژوهشی با نگاهی عمیق به چالش‌های فعلی در زمینه‌ی فشرده‌سازی مدل‌های یادگیری عمیق، به ویژه مدل‌های بزرگ زبانی، گامی مهم برداشته است. زمینه‌ی اصلی تحقیق آن‌ها شامل محاسبات و زبان (Computation and Language) و هوش مصنوعی (Artificial Intelligence) است که از دسته‌بندی‌های کلیدی در مجامع علمی به شمار می‌روند.

پژوهشگران در این زمینه به دنبال یافتن راه‌هایی هستند که بتوان از قدرت مدل‌های پیچیده‌ی هوش مصنوعی بهره برد، بدون آنکه متحمل هزینه‌های گزاف محاسباتی و حافظه شد. مدل‌های ترانسفورمر، مانند BERT، انقلابی در NLP ایجاد کردند، اما طبیعت عظیم‌الجثه آن‌ها مانعی جدی برای پذیرش گسترده‌شان در محیط‌هایی با محدودیت منابع شده است. پارادایم پیش‌آموزش و تنظیم دقیق، که در آن یک مدل بزرگ روی حجم عظیمی از داده‌های بدون برچسب آموزش داده می‌شود و سپس برای وظایف خاص با داده‌های برچسب‌دار “تنظیم دقیق” می‌گردد، به رویکرد استاندارد در NLP تبدیل شده است. با این حال، اعمال تکنیک‌های فشرده‌سازی مانند هرس در این چارچوب نیازمند درک عمیقی از نحوه انتقال دانش و نگهداری آن است.

تیم تحقیقاتی با مطالعه‌ی دقیق این فرآیندها، به دنبال کشف این موضوع بود که چگونه دانش در طول مراحل پیش‌آموزش، تنظیم دقیق و هرس منتقل و یا از دست می‌رود. این درک پایه و اساس روش‌شناسی نوآورانه آن‌ها را تشکیل می‌دهد که هدف آن غلبه بر محدودیت‌های روش‌های هرس موجود است. کارهای پیشین نشان داده بودند که هرس پراکنده در BERT نتایج ضعیف‌تری نسبت به نسخه‌های فشرده چگال (Dense) مانند TinyBERT (Jiao et al., 2020) دارد. این مقاله سعی دارد این تصور رایج را به چالش بکشد و نشان دهد که هرس پراکنده، در صورت طراحی صحیح، می‌تواند رویکردی به مراتب مؤثرتر باشد.

چکیده و خلاصه محتوا

مدل‌های زبانی پیش‌آموزش‌یافته مبتنی بر ترانسفورمر در سال‌های اخیر به طور چشمگیری عملکرد وظایف مختلف پردازش زبان طبیعی (NLP) را بهبود بخشیده‌اند. این مدل‌ها، با وجود کارایی و رواج، معمولاً برای سناریوهای استقراری با منابع محدود، بسیار بزرگ و پرهزینه هستند. از این رو، رشته‌ای از تحقیقات بر روی به کارگیری تکنیک‌های هرس شبکه در چارچوب پیش‌آموزش و سپس تنظیم دقیق که به طور گسترده در NLP استفاده می‌شود، متمرکز شده است.

با این حال، نتایج هرس موجود بر روی ترانسفورمرهای بنچمارک، مانند BERT، به اندازه نتایج هرس در ادبیات شبکه‌های عصبی کانولوشنی (CNNs) قابل توجه نبوده است. به طور خاص، در هرس CNNs این باور رایج است که تکنیک هرس پراکنده، مدل را بیشتر از کاهش تعداد کانال‌ها و لایه‌ها فشرده می‌کند (Elsen et al., 2020; Zhu and Gupta, 2017)، در حالی که کارهای موجود در زمینه هرس پراکنده BERT، نتایجی پایین‌تر از نسخه‌های فشرده چگال آن مانند TinyBERT (Jiao et al., 2020) به دست داده‌اند. این تضاد، نقطه شروع تحقیق حاضر است.

در این کار، نویسندگان با هدف پر کردن این شکاف، چگونگی انتقال و از دست دادن دانش در طول فرآیندهای پیش‌آموزش، تنظیم دقیق و هرس را مطالعه می‌کنند. بر اساس این درک عمیق، آن‌ها یک فرآیند هرس پراکنده آگاه از دانش (knowledge-aware) را پیشنهاد می‌دهند که به طور قابل توجهی نتایجی برتر از ادبیات موجود به دست می‌آورد. این مقاله برای اولین بار نشان می‌دهد که هرس پراکنده می‌تواند یک مدل BERT را به مراتب بیشتر از کاهش تعداد کانال‌ها و لایه‌های آن فشرده کند.

آزمایش‌ها روی چندین مجموعه داده از بنچمارک GLUE نشان می‌دهد که روش پیشنهادی نویسندگان، با ۲۰ برابر فشرده‌سازی وزن/فلاپس (وزن‌های مدل و عملیات ممیز شناور) و افت ناچیز در دقت پیش‌بینی، از رقبای پیشرو پیشی می‌گیرد. این دستاورد یک تغییر پارادایم در درک و کاربرد هرس شبکه برای مدل‌های ترانسفورمر ایجاد می‌کند.

روش‌شناسی تحقیق

برای غلبه بر محدودیت‌های هرس پراکنده در مدل‌های ترانسفورمر، این تحقیق یک رویکرد روش‌شناختی نوآورانه را اتخاذ می‌کند که بر “هرس پراکنده آگاه از دانش” متمرکز است. هسته اصلی این روش، درک و بهینه‌سازی چگونگی مدیریت دانش مدل در سه مرحله کلیدی پیش‌آموزش، تنظیم دقیق و فرآیند هرس است. روش‌شناسی این مقاله را می‌توان در چند گام اصلی خلاصه کرد:

• تحلیل انتقال و از دست دادن دانش: برخلاف رویکردهای سنتی هرس که معمولاً بر اساس معیار سادگی (مانند وزن‌های کوچک‌تر) اتصالات را حذف می‌کنند، این پژوهش ابتدا به یک درک عمیق از نقش هر اتصال یا نورون در حفظ دانش کلی مدل می‌پردازد. این تحلیل شامل بررسی چگونگی انتقال ویژگی‌های یادگرفته شده از مرحله پیش‌آموزش به مرحله تنظیم دقیق و همچنین شناسایی بخش‌هایی از مدل است که در صورت حذف، کمترین تأثیر را بر عملکرد نهایی خواهند داشت. این مرحله با استفاده از تکنیک‌های تحلیلی پیچیده برای اندازه‌گیری اهمیت نورون‌ها و اتصالات در لایه‌های مختلف مدل BERT انجام می‌شود.

• طراحی معیار اهمیت دانش‌محور: نویسندگان معیاری جدید برای ارزیابی اهمیت هر پارامتر در مدل پیشنهاد می‌دهند که فراتر از اندازه مطلق وزن است. این معیار اهمیت را با در نظر گرفتن تأثیر حذف یک پارامتر بر عملکرد مدل در وظایف پایین‌دستی (downstream tasks) و همچنین حفظ اطلاعاتی که از مرحله پیش‌آموزش به دست آمده، تعریف می‌کند. این کار ممکن است شامل استفاده از حساسیت گرادیان‌ها یا معیارهای مبتنی بر اطلاعات متقابل باشد.

• فرآیند هرس تکراری آگاه از دانش: هرس به صورت یک فرآیند تکراری انجام می‌شود. در هر تکرار، اتصالات یا نورون‌هایی که بر اساس معیار اهمیت دانش‌محور، کمترین اهمیت را دارند، حذف می‌شوند. پس از هر مرحله هرس، مدل به صورت جزئی بازآموزش (retraining) یا تنظیم دقیق می‌شود تا از بازیابی دقت از دست رفته اطمینان حاصل شود. این فرآیند تکرار می‌شود تا به سطح فشرده‌سازی مطلوب دست یابد. این چرخه بازخورد اهمیت دانش را در نظر می‌گیرد و از هرس بیش از حد بخش‌های حیاتی جلوگیری می‌کند.

• ترکیب با تنظیم دقیق: روش پیشنهادی به گونه‌ای طراحی شده است که به طور یکپارچه با پارادایم تنظیم دقیق ترکیب شود. این بدان معناست که هرس می‌تواند در حین یا پس از فرآیند تنظیم دقیق اولیه انجام شود، و اطمینان حاصل شود که مدل فشرده شده همچنان قادر به انجام وظایف خاص با دقت بالا است. ممکن است شامل استراتژی‌هایی برای تنظیم دقیق پارامترهای باقی‌مانده پس از هرس برای به حداکثر رساندن بازیابی عملکرد باشد.

• اعتبارسنجی جامع: برای اعتبارسنجی روش خود، محققان آزمایش‌های گسترده‌ای را بر روی بنچمارک GLUE (General Language Understanding Evaluation) انجام دادند. GLUE شامل مجموعه‌ای از وظایف مختلف NLP است که برای ارزیابی توانایی مدل‌ها در درک زبان طبیعی طراحی شده‌اند (مانند طبقه‌بندی احساسات، تشخیص استنتاج طبیعی، پاسخ به پرسش و غیره). معیارهای ارزیابی شامل نسبت فشرده‌سازی (به عنوان مثال، تعداد وزن‌ها و عملیات FLOPs) و دقت پیش‌بینی پس از هرس و تنظیم دقیق بود. مقایسه با روش‌های پیشین هرس و مدل‌های فشرده چگال (مانند TinyBERT) نیز برای نشان دادن برتری روش پیشنهادی انجام شد.

با اتخاذ این رویکرد دقیق و چندجانبه، محققان توانستند به بینشی عمیق‌تر در مورد هرس مدل‌های ترانسفورمر دست یابند و روشی را توسعه دهند که نه تنها از نظر تئوری محکم است، بلکه در عمل نیز کارایی بی‌سابقه‌ای را نشان می‌دهد.

یافته‌های کلیدی

یافته‌های این تحقیق نه تنها یک گام رو به جلو در فشرده‌سازی مدل‌های زبانی محسوب می‌شود، بلکه بسیاری از تصورات رایج در مورد هرس شبکه‌های عصبی را به چالش می‌کشد. مهمترین دستاوردهای این پژوهش عبارتند از:

• برتری هرس پراکنده بر فشرده‌سازی چگال در BERT: برای اولین بار، این مطالعه نشان می‌دهد که هرس پراکنده می‌تواند یک مدل BERT را به طور قابل توجهی بیشتر از کاهش تعداد کانال‌ها و لایه‌ها فشرده کند. این نتیجه، “حکمت رایج” قبلی را که در زمینه CNNها پیشنهاد می‌کرد هرس پراکنده در مقایسه با کاهش تعداد کانال‌ها و لایه‌ها (فشرده‌سازی چگال) برتری دارد، اما در مورد ترانسفورمرها صادق نبود، کاملاً تغییر می‌دهد. این کشف نشان می‌دهد که ساختار ترانسفورمرها به گونه‌ای است که امکان حذف بسیاری از اتصالات غیرضروری را فراهم می‌کند بدون اینکه هسته اصلی دانش از بین برود، البته مشروط بر اینکه هرس به صورت “آگاه از دانش” انجام شود.

• فشرده‌سازی ۲۰ برابری با حفظ دقت: روش پیشنهادی به یک فشرده‌سازی ۲۰ برابری در وزن‌های مدل و عملیات FLOPs دست می‌یابد. این بدان معناست که مدل فشرده شده تنها ۵ درصد از پارامترها و پیچیدگی محاسباتی مدل اصلی را دارد. نکته حیاتی این است که این فشرده‌سازی عظیم با افت ناچیز یا حتی قابل اغماض در دقت پیش‌بینی همراه است. این دستاورد یک پیشرفت چشمگیر است، زیرا معمولاً فشرده‌سازی‌های این چنینی با کاهش قابل توجه عملکرد همراه هستند.

• غلبه بر رقبا در بنچمارک GLUE: آزمایش‌های جامع بر روی چندین مجموعه داده از بنچمارک GLUE نشان داد که روش این مقاله از رقبای پیشرو، از جمله مدل‌های فشرده چگال مانند TinyBERT، عملکرد بهتری دارد. این برتری به این معنی است که مدل فشرده شده آن‌ها نه تنها کوچک‌تر و سریع‌تر است، بلکه در وظایف متنوع درک زبان طبیعی نیز دقت بالاتری را حفظ می‌کند.

• اهمیت رویکرد دانش‌محور: این تحقیق تأکید می‌کند که درک چگونگی انتقال و از دست رفتن دانش در طول فرآیندهای پیش‌آموزش، تنظیم دقیق و هرس، برای دستیابی به فشرده‌سازی مؤثر حیاتی است. رویکرد “آگاه از دانش” آن‌ها به هرس، که به طور فعال اهمیت پارامترها را در پرتو دانش کسب شده و وظایف پایین‌دستی ارزیابی می‌کند، کلید موفقیت آن‌ها بوده است.

این یافته‌ها نشان می‌دهند که با رویکرد صحیح، هرس پراکنده می‌تواند یک استراتژی فوق‌العاده قدرتمند برای فشرده‌سازی مدل‌های ترانسفورمر باشد و راه را برای استقرار گسترده‌تر این مدل‌ها در محیط‌های با محدودیت منابع هموار می‌کند.

کاربردها و دستاوردها

دستاوردهای این پژوهش پیامدهای عملی گسترده‌ای در زمینه‌های مختلف هوش مصنوعی و پردازش زبان طبیعی دارد. توانایی فشرده‌سازی مدل‌های BERT تا ۲۰ برابر با حفظ دقت، درهای جدیدی را برای کاربردهایی که قبلاً به دلیل محدودیت‌های محاسباتی غیرممکن بودند، باز می‌کند:

• استقرار در دستگاه‌های با منابع محدود: یکی از مهمترین کاربردها، امکان استقرار مدل‌های قدرتمند ترانسفورمر بر روی دستگاه‌های edge، موبایل و سیستم‌های نهفته است. این دستگاه‌ها معمولاً دارای حافظه کم، توان پردازشی محدود و مصرف انرژی پایین هستند. مدل‌های BERT فشرده شده می‌توانند وظایفی مانند دستیارهای صوتی محلی، ترجمه ماشینی آفلاین، خلاصه‌سازی متن روی دستگاه و پردازش زبان در وسایل نقلیه خودران را به صورت کارآمد انجام دهند.

• کاهش هزینه‌های محاسباتی و انرژی: فشرده‌سازی ۲۰ برابری به معنای کاهش قابل توجه در نیازهای محاسباتی (FLOPs) هم در مرحله آموزش و هم در مرحله استنتاج است. این امر منجر به صرفه‌جویی عظیم در هزینه‌های عملیاتی برای شرکت‌هایی می‌شود که از این مدل‌ها در مقیاس وسیع استفاده می‌کنند. علاوه بر این، کاهش مصرف انرژی، اثرات زیست‌محیطی ناشی از آموزش و اجرای مدل‌های بزرگ هوش مصنوعی را کاهش می‌دهد.

• افزایش سرعت استنتاج: مدل‌های کوچک‌تر به طور طبیعی سریع‌تر اجرا می‌شوند. این افزایش سرعت استنتاج برای کاربردهای بلادرنگ (real-time applications) مانند چت‌بات‌ها، سیستم‌های پاسخ به پرسش تعاملی و تحلیل احساسات زنده بسیار حیاتی است. تأخیر کمتر به تجربه کاربری بهتر و پاسخگویی سریع‌تر سیستم‌ها منجر می‌شود.

• دسترسی‌پذیری بیشتر به فناوری‌های پیشرفته: با کاهش نیاز به سخت‌افزارهای گران‌قیمت، این فناوری‌های پیشرفته برای پژوهشگران و توسعه‌دهندگان بیشتری قابل دسترس می‌شوند. این امر می‌تواند به نوآوری‌های بیشتر و گسترش کاربردهای هوش مصنوعی در حوزه‌های مختلف منجر شود.

• پایه و اساس برای تحقیقات آینده: این تحقیق چارچوبی قدرتمند برای درک بهتر مکانیسم‌های هرس در مدل‌های زبانی ارائه می‌دهد و می‌تواند به عنوان یک نقطه شروع برای تحقیقات آینده در زمینه فشرده‌سازی مدل‌های بسیار بزرگتر (مانند مدل‌های GPT-3) و همچنین توسعه روش‌های هرس حتی کارآمدتر عمل کند. این دستاورد، مفاهیم پیشین را به چالش کشیده و مسیرهای جدیدی را برای بهینه‌سازی مدل‌های هوش مصنوعی باز می‌کند.

در مجموع، این دستاوردها نه تنها محدودیت‌های فنی را از میان برمی‌دارند، بلکه به دموکراتیزه شدن هوش مصنوعی کمک کرده و امکان استفاده از قدرت مدل‌های زبانی پیشرفته را در طیف وسیعی از سناریوهای عملی فراهم می‌آورند.

نتیجه‌گیری

مقاله “بازاندیشی هرس شبکه‌ها در چارچوب پیش‌آموزش و تنظیم دقیق” یک پژوهش برجسته است که به طور مؤثر به یکی از مهمترین چالش‌های هوش مصنوعی مدرن، یعنی پیچیدگی و اندازه عظیم مدل‌های زبان مبتنی بر ترانسفورمر، می‌پردازد. این تحقیق با نگاهی عمیق به دینامیک انتقال و از دست دادن دانش در طول فرآیندهای پیش‌آموزش، تنظیم دقیق و هرس، یک رویکرد هرس پراکنده آگاه از دانش را ارائه می‌دهد که نه تنها از نظر تئوری مستحکم است، بلکه در عمل نیز کارایی بی‌سابقه‌ای را به نمایش می‌گذارد.

یافته‌های کلیدی این مقاله نشان می‌دهند که هرس پراکنده، بر خلاف باورهای قبلی در مورد ترانسفورمرها، می‌تواند به فشرده‌سازی بسیار بیشتری نسبت به کاهش چگال لایه‌ها و کانال‌ها دست یابد. این تحقیق به طور موفقیت‌آمیز یک مدل BERT را با ۲۰ برابر فشرده‌سازی در وزن‌ها و عملیات محاسباتی، و با افت ناچیز در دقت پیش‌بینی در بنچمارک GLUE، به کوچکترین و کارآمدترین حالت خود می‌رساند. این دستاورد نه تنها از رقبای پیشرو فراتر می‌رود، بلکه به طور کلی دیدگاه ما را در مورد فشرده‌سازی مدل‌های زبانی تغییر می‌دهد.

پیامدهای این پژوهش بسیار گسترده است. این امکان را فراهم می‌آورد که مدل‌های قدرتمند هوش مصنوعی در محیط‌های با منابع محدود مانند دستگاه‌های موبایل و edge با کارایی بالا مستقر شوند. همچنین، با کاهش نیازهای محاسباتی، به کاهش هزینه‌ها و مصرف انرژی کمک می‌کند و دسترسی به فناوری‌های پیشرفته هوش مصنوعی را برای جامعه وسیع‌تری از پژوهشگران و توسعه‌دهندگان تسهیل می‌بخشد. این مقاله نه تنها یک مشکل مهم را حل می‌کند، بلکه زمینه‌های جدیدی را برای تحقیقات آینده در زمینه بهینه‌سازی مدل‌های یادگیری عمیق، به ویژه در چارچوب پارادایم‌های پیچیده مانند پیش‌آموزش و تنظیم دقیق، می‌گشاید.

در نهایت، “بازاندیشی هرس شبکه‌ها” به عنوان یک نقطه عطف در مسیر ساخت مدل‌های هوش مصنوعی قدرتمندتر و در عین حال کارآمدتر، قلمداد می‌شود. این پژوهش نشان می‌دهد که با درک عمیق‌تر از چگونگی عملکرد مدل‌ها و طراحی هوشمندانه فرآیندهای فشرده‌سازی، می‌توانیم به سمت آینده‌ای حرکت کنیم که در آن هوش مصنوعی پیشرفته به طور گسترده‌تری قابل دسترس و پایدارتر باشد.