در دنیای پویای پردازش زبان طبیعی (NLP)، مدل‌های پیش‌آموزشی نظیر BERT به دستاوردهای چشمگیری در وظایف گوناگون دست یافته‌اند. این مدل‌ها با استفاده از حجم عظیمی از داده‌ها و معماری‌های پیچیده، قادر به درک و تولید متن با دقتی قابل توجه هستند. با این حال، این توانایی با یک هزینه همراه است: تعداد بالای پارامترها که نیازمند منابع محاسباتی قابل توجه و زمان استنتاج طولانی‌تر است. این محدودیت‌ها استقرار این مدل‌ها را بر روی دستگاه‌های لبه‌ای (edge devices) که دارای منابع محدود هستند، با چالش مواجه می‌کند.

در پاسخ به این چالش، مقاله‌ای با عنوان LRC-BERT: تقطیر دانش تقابلیِ بازنمایی پنهان برای درک زبان طبیعی روشی نوآورانه برای تقطیر دانش (knowledge distillation) ارائه می‌دهد. هدف اصلی این روش، فشرده‌سازی مدل‌های بزرگ BERT به مدل‌های کوچکتر و کارآمدتر است، بدون آنکه به طور قابل توجهی از دقت آن‌ها کاسته شود.

این مقاله توسط گروهی از محققان به نام‌های Hao Fu, Shaojun Zhou, Qihong Yang, Junjie Tang, Guiquan Liu, Kaikui Liu, Xiaolong Li به رشته تحریر درآمده است. زمینه اصلی تحقیق آن‌ها در حوزه محاسبات و زبان (Computation and Language) و هوش مصنوعی (Artificial Intelligence) قرار دارد. این محققان با تخصص خود در زمینه یادگیری ماشین و پردازش زبان طبیعی، به دنبال راهکارهایی برای بهینه‌سازی مدل‌های زبانی و کاهش پیچیدگی محاسباتی آن‌ها هستند.

چکیده مقاله به طور خلاصه بیان می‌کند که مدل‌های پیش‌آموزشی مانند BERT، علی‌رغم عملکرد عالی، به دلیل حجم بالای پارامترها، با مشکلاتی در استقرار روی دستگاه‌های لبه‌ای مواجه هستند. مقاله حاضر یک روش تقطیر دانش به نام LRC-BERT را پیشنهاد می‌کند که مبتنی بر یادگیری تقابلی است. این روش با هدف تطبیق خروجی لایه میانی از منظر فاصله زاویه‌ای (angular distance) طراحی شده است، جنبه‌ای که در روش‌های تقطیر موجود به آن توجه نشده است. علاوه بر این، یک معماری آموزشی مبتنی بر اغتشاش گرادیان (gradient perturbation) در فاز آموزش معرفی می‌شود تا استحکام LRC-BERT افزایش یابد. در نهایت، برای بهبود ثبت ویژگی‌های توزیع لایه میانی، یک روش آموزش دو مرحله‌ای برای تلفیق کل ضرر تقطیر (total distillation loss) طراحی شده است. نتایج ارزیابی بر روی 8 مجموعه داده در معیار GLUE (General Language Understanding Evaluation) نشان می‌دهد که عملکرد LRC-BERT از روش‌های پیشرفته موجود بهتر است، که اثربخشی روش پیشنهادی را ثابت می‌کند.

روش‌شناسی تحقیق در این مقاله شامل چندین جزء کلیدی است که در زیر به تفصیل شرح داده می‌شوند:

• یادگیری تقابلی: LRC-BERT از یادگیری تقابلی برای تقطیر دانش از مدل بزرگ (استاد) به مدل کوچک (دانشجو) استفاده می‌کند. در این روش، هدف آن است که بازنمایی‌های لایه میانی مدل دانشجو تا حد امکان به بازنمایی‌های مدل استاد نزدیک شوند. به طور خاص، از فاصله زاویه‌ای بین بازنمایی‌ها به عنوان معیار تشابه استفاده می‌شود. این رویکرد جدید، اطلاعات بیشتری را نسبت به روش‌های سنتی تقطیر که فقط بر تطبیق خروجی نهایی تمرکز می‌کنند، منتقل می‌کند.
  
  به عنوان مثال، فرض کنید می‌خواهیم یک تصویر از یک گربه را به یک مدل کوچکتر آموزش دهیم. یادگیری تقابلی به مدل کمک می‌کند تا ویژگی‌های مهم گربه (مانند گوش‌ها، دم و غیره) را به گونه‌ای یاد بگیرد که با ویژگی‌هایی که مدل بزرگتر یاد گرفته است، همخوانی داشته باشد.
• اغتشاش گرادیان: برای افزایش استحکام مدل دانشجو، از یک معماری آموزشی مبتنی بر اغتشاش گرادیان استفاده می‌شود. این روش با افزودن یک نویز کوچک به گرادیان‌ها در حین آموزش، مدل را در برابر تغییرات کوچک در داده‌ها مقاوم‌تر می‌کند.
  
  به عنوان مثال، تصور کنید در حال آموزش یک مدل برای تشخیص گفتار هستید. با افزودن اغتشاش به گرادیان‌ها، مدل یاد می‌گیرد که حتی در صورت وجود نویز در صدا، همچنان به درستی گفتار را تشخیص دهد.
• آموزش دو مرحله‌ای: برای بهبود ثبت ویژگی‌های توزیع لایه میانی، یک روش آموزش دو مرحله‌ای طراحی شده است. در مرحله اول، مدل دانشجو با استفاده از یک نرخ یادگیری بالا آموزش داده می‌شود تا به سرعت به بازنمایی‌های مدل استاد نزدیک شود. در مرحله دوم، نرخ یادگیری کاهش می‌یابد و مدل با دقت بیشتری تنظیم می‌شود تا ویژگی‌های ظریف‌تر توزیع لایه میانی را ثبت کند.
  
  مانند این است که ابتدا یک طرح کلی از یک نقاشی را به سرعت رسم کنید و سپس با دقت بیشتری جزئیات را به آن اضافه کنید.

ترکیب این سه جزء کلیدی، یک روش تقطیر دانش قوی و کارآمد را ایجاد می‌کند که قادر است عملکرد مدل‌های کوچک را به طور قابل توجهی بهبود بخشد.

نتایج حاصل از ارزیابی LRC-BERT بر روی 8 مجموعه داده در معیار GLUE، یافته‌های کلیدی زیر را نشان می‌دهد:

• عملکرد بهتر نسبت به روش‌های پیشرفته: LRC-BERT توانسته است در چندین مجموعه داده، عملکرد بهتری نسبت به روش‌های تقطیر دانش پیشرفته موجود از خود نشان دهد. این امر نشان‌دهنده اثربخشی رویکرد یادگیری تقابلی و استفاده از اغتشاش گرادیان در آموزش است.
• کاهش حجم مدل: با استفاده از روش تقطیر دانش LRC-BERT، می‌توان حجم مدل BERT را به طور قابل توجهی کاهش داد، بدون آنکه به طور چشمگیری از دقت آن کاسته شود. این امر امکان استقرار مدل‌ها را بر روی دستگاه‌های لبه‌ای با منابع محدود فراهم می‌کند.
  
  به عنوان مثال، می‌توان یک مدل BERT را که برای استقرار روی یک تلفن همراه بسیار بزرگ است، با استفاده از LRC-BERT به یک مدل کوچکتر تبدیل کرد که همچنان دقت بالایی داشته باشد.
• افزایش استحکام: معماری آموزشی مبتنی بر اغتشاش گرادیان، استحکام مدل دانشجو را در برابر تغییرات کوچک در داده‌ها افزایش می‌دهد. این امر باعث می‌شود که مدل در محیط‌های واقعی که داده‌ها ممکن است نویزی یا ناقص باشند، عملکرد بهتری داشته باشد.

روش تقطیر دانش LRC-BERT دارای کاربردهای گسترده‌ای در زمینه‌های مختلف پردازش زبان طبیعی است:

• استقرار بر روی دستگاه‌های لبه‌ای: کاهش حجم مدل، امکان استقرار مدل‌های زبانی پیشرفته را بر روی دستگاه‌های لبه‌ای مانند تلفن‌های همراه، دستگاه‌های IoT و ربات‌ها فراهم می‌کند. این امر امکان پردازش زبان طبیعی را در زمان واقعی و بدون نیاز به اتصال به ابر فراهم می‌کند.
  
  به عنوان مثال، می‌توان یک دستیار صوتی را روی یک تلفن همراه اجرا کرد که قادر به درک و پاسخ به دستورات کاربر در زمان واقعی باشد.
• بهبود کارایی: با کاهش پیچیدگی محاسباتی، LRC-BERT می‌تواند کارایی مدل‌های زبانی را در وظایف مختلف مانند ترجمه ماشینی، خلاصه‌سازی متن و پاسخ به سوالات بهبود بخشد.
• توسعه مدل‌های تخصصی: LRC-BERT می‌تواند برای توسعه مدل‌های زبانی تخصصی برای کاربردهای خاص مورد استفاده قرار گیرد. به عنوان مثال، می‌توان یک مدل زبانی را برای تحلیل احساسات در رسانه‌های اجتماعی یا برای تشخیص تقلب در معاملات مالی آموزش داد.

دستاورد اصلی این مقاله، ارائه یک روش تقطیر دانش نوآورانه و کارآمد است که قادر است عملکرد مدل‌های زبانی را در عین کاهش حجم و پیچیدگی آن‌ها بهبود بخشد.

در مجموع، مقاله LRC-BERT یک گام مهم در جهت فشرده‌سازی و بهینه‌سازی مدل‌های زبانی پیشرفته است. روش پیشنهادی، با استفاده از یادگیری تقابلی و اغتشاش گرادیان، قادر است عملکرد مدل‌های کوچک را به طور قابل توجهی بهبود بخشد و امکان استقرار آن‌ها را بر روی دستگاه‌های لبه‌ای فراهم کند. این تحقیق، دریچه‌ای جدید به سوی توسعه مدل‌های زبانی کارآمدتر و قابل دسترس‌تر می‌گشاید و می‌تواند تاثیر بسزایی در پیشرفت حوزه‌های مختلف پردازش زبان طبیعی داشته باشد. با توجه به اهمیت روزافزون پردازش زبان طبیعی در زندگی روزمره، انتظار می‌رود که روش‌های تقطیر دانش مانند LRC-BERT نقش کلیدی در گسترش کاربردهای این فناوری ایفا کنند.