در عصر حاضر، مدل‌های زبانی پیش‌آموخته (Pre-trained Language Models – PLMs) به عنوان یکی از ارکان اصلی در حوزه‌ی پردازش زبان طبیعی (Natural Language Processing – NLP) شناخته می‌شوند. این مدل‌ها با بهره‌گیری از حجم عظیمی از داده‌های متنی، توانایی یادگیری الگوها و دانش زبانی پیچیده را به دست می‌آورند و در طیف گسترده‌ای از وظایف NLP، از ترجمه ماشینی گرفته تا تحلیل احساسات، به کار گرفته می‌شوند. با این حال، این قدرت و توانایی، به بهای سنگینی از نظر محاسباتی و مصرف منابع سخت‌افزاری به دست می‌آید. مدل‌های زبانی بزرگ، با میلیاردها پارامتر، نیازمند منابع محاسباتی قابل توجهی برای آموزش، اجرا و استقرار هستند. این امر، استفاده از این مدل‌ها را در محیط‌های با محدودیت منابع، مانند دستگاه‌های تلفن همراه یا سیستم‌های تعبیه‌شده، با چالش‌های جدی مواجه می‌سازد.

به همین دلیل، فشرده‌سازی مدل‌های زبانی، به یکی از زمینه‌های تحقیقاتی فعال و حیاتی در NLP تبدیل شده است. هدف از فشرده‌سازی مدل، کاهش حجم و پیچیدگی مدل بدون افت قابل توجه در عملکرد آن است. تکنیک‌های مختلفی برای فشرده‌سازی مدل‌ها وجود دارد، از جمله:

• هرس (Pruning): حذف پارامترهای غیرضروری مدل.
• کوانتیزاسیون (Quantization): کاهش دقت نمایش پارامترهای مدل.
• تخلیص دانش (Knowledge Distillation): آموزش یک مدل کوچکتر برای تقلید رفتار یک مدل بزرگتر.

هر یک از این روش‌ها، مزایا و معایب خاص خود را دارند و بسته به شرایط و نیازهای خاص، می‌توان از آن‌ها به صورت جداگانه یا ترکیبی استفاده کرد.

مقاله حاضر، با عنوان “از متراکم به تُنُک: هرس تقابلی برای فشرده‌سازی بهتر مدل‌های زبان پیش‌آموخته” (From Dense to Sparse: Contrastive Pruning for Better Pre-trained Language Model Compression)، به بررسی و بهبود روش‌های هرس برای فشرده‌سازی مدل‌های زبانی پیش‌آموخته می‌پردازد. این مقاله، یک رویکرد جدید به نام “هرس تقابلی” (Contrastive Pruning – CAP) را معرفی می‌کند که هدف آن، حفظ دانش همگانی (task-agnostic) و دانش خاص وظیفه (task-specific) در مدل هرس‌شده است. این رویکرد، با استفاده از یادگیری تقابلی (Contrastive Learning)، مدل هرس‌شده را قادر می‌سازد تا از مدل پیش‌آموخته و مدل تنظیم‌شده (fine-tuned) به طور همزمان یاد بگیرد.

این مقاله توسط Runxin Xu, Fuli Luo, Chengyu Wang, Baobao Chang, Jun Huang, Songfang Huang, و Fei Huang نوشته شده است. این نویسندگان، متخصصان حوزه‌های محاسبات و زبان (Computation and Language) و هوش مصنوعی (Artificial Intelligence) هستند و تجربه قابل توجهی در زمینه مدل‌های زبانی پیش‌آموخته و فشرده‌سازی مدل دارند. تحقیقات آن‌ها بر بهبود کارایی و قابلیت استفاده از مدل‌های زبانی بزرگ متمرکز است.

چکیده مقاله به این صورت است: مدل‌های زبان پیش‌آموخته (PLM) در وظایف مختلف پردازش زبان طبیعی (NLP) تحت الگوی پیش‌آموزش و تنظیم دقیق، به موفقیت‌های بزرگی دست یافته‌اند. مدل‌های PLM با داشتن تعداد زیادی پارامتر، از نظر محاسباتی و منابع، پرهزینه هستند. از این رو، هرس مدل برای فشرده‌سازی مدل‌های PLM در مقیاس بزرگ معرفی شده است. با این حال، بیشتر رویکردهای قبلی فقط دانش خاص وظیفه را نسبت به وظایف پایین‌دستی در نظر می‌گیرند، اما دانش ضروری مستقل از وظیفه را در طول هرس نادیده می‌گیرند، که ممکن است باعث مشکل فراموشی فاجعه‌بار شود و منجر به توانایی تعمیم ضعیف شود. برای حفظ دانش مستقل از وظیفه و دانش خاص وظیفه در مدل هرس‌شده، ما هرس تقابلی (CAP) را تحت الگوی پیش‌آموزش و تنظیم دقیق پیشنهاد می‌کنیم. این به عنوان یک چارچوب کلی طراحی شده است، که با هرس ساختاریافته و بدون ساختار سازگار است. CAP که در یادگیری تقابلی متحد شده است، مدل هرس‌شده را قادر می‌سازد تا از مدل پیش‌آموخته برای دانش مستقل از وظیفه و مدل تنظیم دقیق برای دانش خاص وظیفه یاد بگیرد. علاوه بر این، برای حفظ بهتر عملکرد مدل هرس‌شده، اسنپ‌شات‌ها (یعنی مدل‌های میانی در هر تکرار هرس) نیز به عنوان نظارت‌های موثر برای هرس عمل می‌کنند. آزمایش‌های گسترده ما نشان می‌دهد که اتخاذ CAP به طور مداوم منجر به بهبودهای قابل توجهی می‌شود، به خصوص در سناریوهای پراکندگی بسیار بالا. با تنها ۳٪ پارامترهای مدل رزرو شده (یعنی ۹۷٪ پراکندگی)، CAP با موفقیت به ۹۹.۲٪ و ۹۶.۳٪ از عملکرد اصلی BERT در وظایف QQP و MNLI دست می‌یابد. علاوه بر این، آزمایش‌های کاوش ما نشان می‌دهد که مدل هرس‌شده توسط CAP تمایل دارد به توانایی تعمیم بهتری دست یابد.

به طور خلاصه، مقاله CAP را به عنوان یک روش کارآمد برای فشرده‌سازی مدل‌های زبانی پیش‌آموخته معرفی می‌کند. این روش، با استفاده از یادگیری تقابلی، قادر است تعادلی بین حفظ دانش عمومی و دانش خاص وظیفه برقرار کند و در نتیجه، عملکرد مدل هرس‌شده را به طور قابل توجهی بهبود بخشد.

روش‌شناسی تحقیق در این مقاله، مبتنی بر رویکرد یادگیری تقابلی است. در این رویکرد، دو نوع دانش (عمومی و خاص) به عنوان نمونه‌های مثبت و منفی در نظر گرفته می‌شوند. مدل هرس‌شده، آموزش داده می‌شود تا نمونه‌های مثبت را از نمونه‌های منفی تشخیص دهد. این فرآیند، به مدل کمک می‌کند تا دانش مهم را حفظ کرده و دانش غیرضروری را حذف کند.

به طور دقیق‌تر، CAP از سه جزء اصلی تشکیل شده است:

• مدل پیش‌آموخته: به عنوان منبع دانش عمومی استفاده می‌شود.
• مدل تنظیم‌شده: به عنوان منبع دانش خاص وظیفه استفاده می‌شود.
• مدل هرس‌شده: مدلی که باید فشرده شود و در عین حال، عملکرد خود را حفظ کند.

در طول فرآیند آموزش، مدل هرس‌شده با استفاده از یک تابع ضرر تقابلی، آموزش داده می‌شود تا خروجی‌های خود را با خروجی‌های مدل پیش‌آموخته و مدل تنظیم‌شده هماهنگ کند. این فرآیند، به مدل کمک می‌کند تا هم دانش عمومی و هم دانش خاص وظیفه را به طور همزمان یاد بگیرد.

علاوه بر این، مقاله از اسنپ‌شات‌ها (مدل‌های میانی در طول فرآیند هرس) به عنوان نوعی نظارت اضافی استفاده می‌کند. این اسنپ‌شات‌ها، به مدل کمک می‌کنند تا به تدریج دانش خود را حفظ کند و از فراموشی فاجعه‌بار جلوگیری کند.

نتایج آزمایش‌های انجام شده در این مقاله، نشان می‌دهد که CAP به طور مداوم عملکرد بهتری نسبت به روش‌های هرس سنتی دارد. به ویژه، در سناریوهای با پراکندگی بسیار بالا (یعنی زمانی که حجم زیادی از پارامترهای مدل حذف شده‌اند)، CAP عملکرد بسیار خوبی از خود نشان می‌دهد.

به عنوان مثال، در وظایف QQP و MNLI، CAP با حفظ تنها 3 درصد از پارامترهای مدل، توانست به 99.2 درصد و 96.3 درصد از عملکرد اصلی مدل BERT دست یابد. این نتایج، نشان می‌دهد که CAP یک روش بسیار کارآمد برای فشرده‌سازی مدل‌های زبانی بزرگ است.

علاوه بر این، آزمایش‌های کاوش (probing experiments) نشان می‌دهد که مدل هرس‌شده توسط CAP، توانایی تعمیم بهتری دارد. این بدان معناست که مدل CAP، می‌تواند به طور موثرتری به داده‌های جدید و ناشناخته پاسخ دهد.

روش CAP، کاربردهای گسترده‌ای در زمینه‌های مختلف NLP دارد. به طور کلی، این روش می‌تواند برای فشرده‌سازی هر نوع مدل زبانی پیش‌آموخته استفاده شود. برخی از کاربردهای خاص CAP عبارتند از:

• استقرار مدل‌های زبانی در دستگاه‌های تلفن همراه و سیستم‌های تعبیه‌شده: با فشرده‌سازی مدل‌ها، می‌توان آن‌ها را به راحتی در دستگاه‌های با محدودیت منابع اجرا کرد.
• بهبود سرعت و کارایی مدل‌های زبانی: مدل‌های فشرده، سریع‌تر و کارآمدتر از مدل‌های بزرگ هستند.
• کاهش هزینه‌های محاسباتی و مصرف انرژی: با استفاده از مدل‌های فشرده، می‌توان هزینه‌های محاسباتی و مصرف انرژی را به طور قابل توجهی کاهش داد.

دستاورد اصلی این مقاله، ارائه یک روش جدید و کارآمد برای فشرده‌سازی مدل‌های زبانی پیش‌آموخته است. CAP، با استفاده از یادگیری تقابلی، می‌تواند تعادلی بین حفظ دانش عمومی و دانش خاص وظیفه برقرار کند و در نتیجه، عملکرد مدل هرس‌شده را به طور قابل توجهی بهبود بخشد.

مقاله “از متراکم به تُنُک: هرس تقابلی برای فشرده‌سازی بهتر مدل‌های زبان پیش‌آموخته”، یک گام مهم در راستای بهبود کارایی و قابلیت استفاده از مدل‌های زبانی بزرگ است. روش CAP، یک رویکرد نوآورانه و کارآمد برای فشرده‌سازی مدل‌ها ارائه می‌دهد که می‌تواند در زمینه‌های مختلف NLP مورد استفاده قرار گیرد. با توجه به اهمیت روزافزون مدل‌های زبانی پیش‌آموخته، تحقیقات در زمینه فشرده‌سازی مدل، از اهمیت ویژه‌ای برخوردار است و این مقاله، contribution قابل توجهی به این حوزه محسوب می‌شود.