در دنیای امروز، مدل‌های زبان از پیش آموزش‌دیده (Pretrained Language Models – PreLMs) به نیروی محرکه بسیاری از پیشرفت‌ها در پردازش زبان طبیعی (Natural Language Processing – NLP) تبدیل شده‌اند. این مدل‌ها، مانند GPT-3 و BERT، با حجم عظیمی از داده‌های متنی آموزش داده شده‌اند و توانایی‌های چشمگیری در فهم و تولید زبان از خود نشان می‌دهند. با این حال، اندازه بسیار بزرگ این مدل‌ها، استفاده از آن‌ها را برای آزمایشگاه‌های کوچک یا استقرار بر روی دستگاه‌های تلفن همراه با محدودیت‌هایی مواجه می‌کند. به همین دلیل، تحقیقات در زمینه کاهش حجم و پیچیدگی این مدل‌ها، بدون کاهش چشمگیر کارایی، از اهمیت بسزایی برخوردار است.

مقاله مورد بحث توسط گروهی از محققان به نام‌های لوکاس گالکه، ایزابل کیوبر، کریستوف مایر، هنریک فردیناند نولشر، آنجلینا سوندرکر و انسگار شرپ نوشته شده است. زمینه تحقیقاتی این گروه، حوزه‌های محاسبات و زبان (Computation and Language) و یادگیری ماشین (Machine Learning) را در بر می‌گیرد. تمرکز اصلی آن‌ها بر روی یافتن راهکارهایی برای بهینه‌سازی و قابل دسترس‌تر کردن مدل‌های زبان بزرگ، به‌ویژه از طریق روش‌های تقطیر دانش (Knowledge Distillation) و استفاده از معماری‌های جایگزین و کارآمدتر است.

چکیده این مقاله به این نکته اشاره دارد که مدل‌های زبان از پیش آموزش‌دیده، با وجود توانایی‌های فوق‌العاده، به دلیل حجم زیاد، برای بسیاری از کاربردها غیرقابل استفاده هستند. روش‌های کاهش حجم مانند هرس (Pruning) و تقطیر، معمولاً معماری اصلی مدل را حفظ می‌کنند. در مقابل، این مقاله به بررسی تقطیر دانش از مدل‌های بزرگ به یک معماری متفاوت و کارآمدتر به نام ضرب مداوم کلمات (Continual Multiplication of Words – CMOW) می‌پردازد. CMOW هر کلمه را به عنوان یک ماتریس تعبیه می‌کند و از ضرب ماتریسی برای رمزگذاری توالی‌ها استفاده می‌کند.

نویسندگان معماری CMOW و نوع ترکیبی آن (CMOW/CBOW-Hybrid) را با افزودن یک مولفه دوطرفه (Bidirectional) برای توانایی بیان بیشتر، نمایش‌های توکن به توکن (Per-Token Representations) برای تقطیر عمومی (مستقل از وظیفه) در طول پیش‌آموزش، و یک طرح رمزگذاری دو توالی (Two-Sequence Encoding Scheme) که وظایف پایین‌دستی روی جفت جملات مانند شباهت جمله و استنتاج زبان طبیعی را تسهیل می‌کند، گسترش داده‌اند.

مدل مبتنی بر ماتریس دوطرفه CMOW/CBOW-Hybrid در وظایفی مانند شباهت پرسش و تشخیص تعهد متنی (Recognizing Textual Entailment) با DistilBERT رقابت می‌کند، در حالی که تنها از نیمی از تعداد پارامترها استفاده می‌کند و از نظر سرعت استنتاج سه برابر سریع‌تر است. همچنین، این مدل در تمام وظایف معیار GLUE، به جز وظیفه تحلیل احساسات SST-2 و وظیفه پذیرش زبانی CoLA، با ELMo مطابقت دارد یا از آن فراتر می‌رود. با این حال، در مقایسه با رویکردهای تقطیر فرامعماری قبلی، نویسندگان نشان می‌دهند که امتیازات در تشخیص پذیرش زبانی دو برابر شده است. این نشان می‌دهد که از تعبیه‌های مبتنی بر ماتریس می‌توان برای تقطیر مدل‌های بزرگ PreLM به مدل‌های رقابتی استفاده کرد و انگیزه بیشتری برای تحقیقات بیشتر در این راستا ایجاد می‌کند.

روش‌شناسی تحقیق در این مقاله شامل مراحل زیر است:

• توسعه معماری CMOW: نویسندگان با گسترش معماری اصلی CMOW، یک مدل دوطرفه CMOW/CBOW-Hybrid ایجاد کرده‌اند. این مدل جدید با افزودن مولفه‌های دوطرفه و قابلیت‌های رمزگذاری دو توالی، توانایی بیشتری در درک روابط پیچیده بین کلمات و جملات دارد.
• تقطیر دانش: مدل بزرگ PreLM (به عنوان مدل معلم) برای آموزش مدل CMOW/CBOW-Hybrid (به عنوان مدل دانش‌آموز) استفاده می‌شود. در این فرآیند، مدل دانش‌آموز سعی می‌کند رفتار و خروجی‌های مدل معلم را تقلید کند.
• ارزیابی عملکرد: مدل CMOW/CBOW-Hybrid در وظایف مختلف پردازش زبان طبیعی، مانند شباهت پرسش، تشخیص تعهد متنی، تحلیل احساسات و پذیرش زبانی، مورد ارزیابی قرار می‌گیرد. نتایج با سایر مدل‌های مرجع، مانند DistilBERT و ELMo، مقایسه می‌شود.
• تحلیل نتایج: نویسندگان با تحلیل نتایج تجربی، به بررسی نقاط قوت و ضعف مدل CMOW/CBOW-Hybrid می‌پردازند و در مورد مزایای استفاده از تعبیه‌های مبتنی بر ماتریس در تقطیر دانش بحث می‌کنند.

برای مثال، در فرآیند تقطیر دانش، ممکن است از روش مینیمم‌سازی اختلاف خروجی بین مدل بزرگ و مدل CMOW استفاده شود. به این معنی که مدل CMOW آموزش داده می‌شود تا خروجی‌های مشابهی با مدل بزرگ برای ورودی‌های یکسان تولید کند. این کار باعث انتقال دانش و اطلاعات از مدل بزرگ به مدل کوچکتر می‌شود.

یافته‌های کلیدی این تحقیق عبارتند از:

• مدل CMOW/CBOW-Hybrid دوطرفه مبتنی بر ماتریس، با وجود حجم بسیار کمتر (نیمی از تعداد پارامترهای DistilBERT)، در برخی از وظایف (مانند شباهت پرسش و تشخیص تعهد متنی) عملکردی رقابتی با DistilBERT دارد.
• سرعت استنتاج مدل CMOW/CBOW-Hybrid سه برابر سریع‌تر از DistilBERT است، که آن را برای کاربردهایی که سرعت اهمیت دارد، مناسب می‌سازد.
• در وظیفه تشخیص پذیرش زبانی (CoLA)، مدل CMOW/CBOW-Hybrid عملکرد بهتری نسبت به رویکردهای تقطیر فرامعماری قبلی دارد و امتیازات دو برابری را نشان می‌دهد.
• استفاده از تعبیه‌های مبتنی بر ماتریس می‌تواند یک روش موثر برای تقطیر دانش از مدل‌های زبان بزرگ به مدل‌های کوچکتر و کارآمدتر باشد.

به عنوان مثال، افزایش دو برابری امتیاز در وظیفه CoLA نشان‌دهنده این است که مدل CMOW/CBOW-Hybrid در درک ساختار و قواعد دستوری زبان، نسبت به مدل‌های مشابه، توانایی بهتری دارد. این امر می‌تواند به دلیل استفاده از ضرب ماتریسی برای رمزگذاری توالی‌ها باشد، که به مدل امکان می‌دهد روابط پیچیده‌تری بین کلمات را درک کند.

این تحقیق دستاوردهای مهمی در زمینه بهینه‌سازی مدل‌های زبان بزرگ دارد و کاربردهای متعددی را ارائه می‌دهد:

• استقرار مدل‌ها بر روی دستگاه‌های با منابع محدود: حجم کم مدل CMOW/CBOW-Hybrid آن را برای استقرار بر روی دستگاه‌های تلفن همراه، سیستم‌های تعبیه شده و سایر دستگاه‌های با منابع محاسباتی محدود مناسب می‌سازد.
• بهبود سرعت استنتاج: سرعت بالای استنتاج این مدل، امکان استفاده از آن را در کاربردهایی که نیاز به پاسخگویی سریع دارند (مانند ربات‌های پاسخگو و سیستم‌های جستجو) فراهم می‌کند.
• تقطیر دانش از مدل‌های بزرگ: این تحقیق نشان می‌دهد که تعبیه‌های مبتنی بر ماتریس می‌توانند به عنوان یک ابزار موثر برای تقطیر دانش از مدل‌های زبان بزرگ مورد استفاده قرار گیرند و مدل‌های کوچکتر و کارآمدتری را تولید کنند.
• پیشرفت در زمینه پردازش زبان طبیعی: این تحقیق با ارائه یک معماری جدید و کارآمد برای مدل‌های زبان، به پیشرفت کلی در زمینه پردازش زبان طبیعی کمک می‌کند.

برای نمونه، تصور کنید یک استارتاپ کوچک می‌خواهد یک ربات پاسخگو مبتنی بر هوش مصنوعی را برای پاسخگویی به سوالات مشتریان طراحی کند. استفاده از مدل‌های زبان بزرگ مانند GPT-3 به دلیل هزینه بالای محاسبات و نیاز به سخت‌افزار قدرتمند، برای این استارتاپ امکان‌پذیر نیست. در این حالت، استفاده از یک مدل تقطیر شده مانند CMOW/CBOW-Hybrid می‌تواند یک راه‌حل مناسب باشد، زیرا هم از نظر حجم و سرعت بهینه‌تر است و هم کارایی قابل قبولی را ارائه می‌دهد.

در مجموع، این مقاله یک گام مهم در جهت کاهش حجم و پیچیدگی مدل‌های زبان بزرگ و قابل دسترس‌تر کردن آن‌ها برای کاربردهای مختلف است. نویسندگان با معرفی و توسعه معماری CMOW/CBOW-Hybrid و نشان دادن کارایی آن در وظایف مختلف پردازش زبان طبیعی، راه را برای تحقیقات بیشتر در زمینه استفاده از تعبیه‌های مبتنی بر ماتریس در تقطیر دانش هموار کرده‌اند. نتایج این تحقیق می‌تواند تاثیر قابل توجهی بر روی توسعه و استقرار سیستم‌های هوش مصنوعی در آینده داشته باشد و به کاربران بیشتری امکان استفاده از این فناوری قدرتمند را بدهد. تحقیقات آتی می تواند بر بهبود معماری CMOW برای دستیابی به دقت بالاتر در وظایف چالش برانگیزتر و همچنین بررسی روش های جدید برای تقطیر دانش به این نوع مدل ها تمرکز کند.