در سال‌های اخیر، حوزه پردازش زبان طبیعی (NLP) با ظهور مدل‌های زبانی بزرگ (LLMs) مبتنی بر معماری ترنسفورمر، مانند خانواده BERT و GPT، دستخوش تحولی شگرف شده است. این مدل‌ها با توانایی بی‌نظیر خود در درک و تولید زبان انسان، معیارهای عملکردی را در طیف وسیعی از وظایف جابجا کرده‌اند. با این حال، این قدرت پردازشی به بهای گزافی به دست آمده است: اندازه بسیار بزرگ (صدها میلیون تا میلیاردها پارامتر) و نیاز به منابع محاسباتی عظیم. این ویژگی‌ها، استفاده از آن‌ها را بر روی دستگاه‌های با منابع محدود مانند ساعت‌های هوشمند، گوشی‌های موبایل، و دستگاه‌های اینترنت اشیاء (IoT) عملاً غیرممکن می‌سازد.

مقاله “pNLP-Mixer: an Efficient all-MLP Architecture for Language” پاسخی نوآورانه به این چالش اساسی ارائه می‌دهد. این پژوهش یک معماری کاملاً جدید را معرفی می‌کند که بدون استفاده از مکانیزم‌های پیچیده و سنگینِ توجه (Attention) در ترنسفورمرها، به عملکردی رقابتی دست می‌یابد. اهمیت این مقاله در ارائه یک راهکار عملی برای اجرای وظایف NLP به صورت محلی (On-device) نهفته است؛ راهکاری که نه تنها حریم خصوصی کاربران را با بی‌نیاز کردن از ارسال داده به سرورهای ابری حفظ می‌کند، بلکه سرعت پاسخ‌دهی را افزایش و مصرف انرژی را به شدت کاهش می‌دهد. این مقاله نشان می‌دهد که برای بسیاری از کاربردهای عملی، می‌توان با معماری‌های بهینه‌تر و سبک‌تر به نتایجی شگفت‌انگیز دست یافت.

این مقاله حاصل تلاش تیمی از پژوهشگران برجسته به نام‌های فرانچسکو فوسکو (Francesco Fusco)، دامیان پاسکوال (Damian Pascual)، پیتر استار (Peter Staar) و دیگو آنتونینی (Diego Antognini) است. این پژوهش در تقاطع سه حوزه کلیدی علوم کامپیوتر قرار می‌گیرد:

• پردازش زبان طبیعی (NLP): تمرکز بر روی وظایف درک معنایی مانند تشخیص قصد کاربر و پر کردن جایگاه‌ها در جملات.
• یادگیری ماشین کارآمد (Efficient Machine Learning): طراحی مدل‌هایی که با کمترین پارامتر و منابع محاسباتی، بیشترین کارایی را داشته باشند. این حوزه به “TinyML” نیز شهرت دارد.
• هوش مصنوعی روی دستگاه (On-Device AI): انتقال پردازش‌های هوشمند از سرورهای ابری به دستگاه‌های لبه (Edge devices) برای افزایش سرعت، امنیت و کاهش هزینه‌ها.

این مقاله بر پایه پژوهش‌های پیشین در زمینه مدل‌های مبتنی بر پرسپترون چندلایه (MLP)، مانند MLP-Mixer که در حوزه بینایی کامپیوتر موفقیت‌آمیز بود، بنا شده و این ایده را به شکلی خلاقانه به دنیای زبان منتقل می‌کند.

مقاله pNLP-Mixer یک معماری جدید و کاملاً مبتنی بر MLP را معرفی می‌کند که به طور خاص برای کاربردهای NLP روی دستگاه طراحی شده است. برخلاف مدل‌های غول‌پیکر ترنسفورمر، pNLP-Mixer با بهره‌گیری از یک لایه پروجکشن (Projection) نوآورانه، به بهره‌وری وزنی فوق‌العاده بالایی دست می‌یابد. یکی از ویژگی‌های کلیدی این معماری، حذف کامل لایه نشانه‌سازی (Embedding-free) است. لایه‌های Embedding در مدل‌های سنتی، بخش قابل توجهی از حجم مدل را به خود اختصاص می‌دهند. pNLP-Mixer با حذف این لایه، گامی بزرگ در جهت کوچک‌سازی مدل برداشته است.

محققان یک مدل pNLP-Mixer با حجم تنها یک مگابایت را بر روی دو مجموعه داده تجزیه معنایی چندزبانه (MTOP و multiATIS) ارزیابی کردند. نتایج شگفت‌انگیز بود: نسخه کوانتیزه شده (quantized) این مدل توانست به ترتیب به ۹۹.۴٪ و ۹۷.۸٪ از عملکرد مدل عظیم mBERT دست یابد، در حالی که از ۱۷۰ برابر پارامتر کمتر استفاده می‌کرد. علاوه بر این، pNLP-Mixer به طور مداوم مدل پیشرفته pQRNN (که پیش از این بهترین مدل کوچک محسوب می‌شد و دو برابر بزرگتر بود) را با اختلاف قابل توجهی تا ۷.۸٪ شکست داد. این نتایج نشان‌دهنده یک جهش بزرگ در زمینه مدل‌های NLP سبک و کارآمد است.

معماری pNLP-Mixer بر خلاف ترنسفورمرها که بر مکانیزم «توجه» برای درک روابط بین کلمات تکیه دارند، از بلوک‌های ساده پرسپترون چندلایه (MLP) برای پردازش اطلاعات استفاده می‌کند. این رویکرد از معماری MLP-Mixer در بینایی کامپیوتر الهام گرفته شده است که نشان داد می‌توان بدون کانولوشن‌های پیچیده نیز به نتایج عالی رسید. اجزای اصلی روش‌شناسی این تحقیق عبارتند از:

• معماری تماماً MLP: هسته اصلی مدل از لایه‌های تکرارشونده MLP تشکیل شده است. این لایه‌ها در دو جهت عمل می‌کنند: یکی برای ترکیب اطلاعات در طول توکن‌ها (مشابه مکانیزم توجه) و دیگری برای ترکیب اطلاعات در طول کانال‌ها (ویژگی‌ها). این ساختار ساده اما قدرتمند، از نظر محاسباتی بسیار سبک‌تر از ترنسفورمرها است.
• لایه پروجکشن نوآورانه (Embedding-Free): به جای استفاده از یک جدول جستجوی عظیم برای تبدیل کلمات یا زیرکلمات به بردار (Embedding)، pNLP-Mixer از یک لایه پروجکشن سبک استفاده می‌کند. این لایه ورودی خام (مثلاً دنباله‌ای از شناسه‌های کاراکتر) را مستقیماً به یک فضای برداری کوچک‌تر نگاشت می‌کند. این طراحی، بخش بزرگی از پارامترهای مدل را حذف کرده و آن را به شدت فشرده می‌سازد.
• کوانتیزاسیون (Quantization): برای کاهش بیشتر حجم مدل و افزایش سرعت استنتاج (Inference)، محققان از تکنیک کوانتیزاسیون استفاده کردند. در این فرآیند، وزن‌های مدل که معمولاً با اعداد اعشاری ۳۲ بیتی (float32) ذخیره می‌شوند، به اعداد صحیح ۸ بیتی (int8) تبدیل می‌شوند. این کار حجم مدل را تقریباً ۴ برابر کاهش می‌دهد بدون آنکه افت عملکرد قابل توجهی به همراه داشته باشد.
• ارزیابی بر روی داده‌های چندزبانه: مدل بر روی دو مجموعه داده استاندارد برای وظایف تجزیه معنایی (Semantic Parsing) ارزیابی شد:
  • MTOP (Multilingual Task-Oriented Parsing): یک مجموعه داده پیچیده با پشتیبانی از چندین زبان برای وظایفی مانند طبقه‌بندی قصد (Intent Classification) و پر کردن اسلات (Slot Filling).
  • multiATIS (Multilingual Air Travel Information System): مجموعه داده‌ای کلاسیک در حوزه اطلاعات پرواز که به چندین زبان ترجمه شده است.

نتایج تجربی این مقاله، موفقیت چشمگیر معماری pNLP-Mixer را به وضوح نشان می‌دهد. مهم‌ترین یافته‌ها به شرح زیر است:

• کارایی در مقابل اندازه: مدل pNLP-Mixer با حجم تنها ۱ مگابایت، به عملکردی تقریباً معادل مدل غول‌پیکر mBERT (با حجمی حدود ۱۷۰ مگابایت) دست یافت. این یعنی دستیابی به ۹۹.۴٪ از عملکرد mBERT روی داده MTOP با ۱۷۰ برابر پارامتر کمتر، که یک دستاورد بی‌سابقه در بهینه‌سازی مدل است.
• شکستن رکوردهای پیشین: این مدل نه تنها مدل‌های بزرگ را به چالش کشید، بلکه از بهترین مدل کوچک موجود (pQRNN) نیز عملکرد بهتری داشت. pNLP-Mixer توانست pQRNN را که حجمی دو برابر آن دارد، با اختلاف قابل توجهی (تا ۷.۸٪ در F1-score روی MTOP) شکست دهد.
• عملکرد چندزبانه قوی: موفقیت مدل بر روی مجموعه داده‌های MTOP و multiATIS نشان می‌دهد که این معماری سبک، توانایی یادگیری و پردازش الگوها در زبان‌های مختلف را بدون نیاز به پارامترهای اضافی برای هر زبان داراست.
• تأثیر کوانتیزاسیون: نتایج نشان داد که فرآیند کوانتیزاسیون تأثیر منفی ناچیزی بر دقت مدل دارد، اما در عوض حجم آن را به شدت کاهش داده و سرعت اجرا بر روی پردازنده‌های استاندارد را افزایش می‌دهد، که برای کاربردهای روی دستگاه حیاتی است.

معماری pNLP-Mixer درهای جدیدی را به روی کاربردهای هوش مصنوعی در دنیای واقعی می‌گشاید. دستاوردهای عملی این پژوهش عبارتند از:

• دستیارهای صوتی روی ساعت‌های هوشمند: اجرای دستورات صوتی و درک قصد کاربر به صورت محلی و بدون نیاز به اینترنت، که منجر به پاسخ‌دهی آنی می‌شود.
• صفحه‌کلیدهای هوشمند: ارائه پیشنهاد کلمات، تصحیح خودکار و تحلیل احساسات متن به صورت آنی بر روی گوشی موبایل.
• دستگاه‌های اینترنت اشیاء (IoT): فعال‌سازی دستگاه‌های خانگی هوشمند یا سنسورهای صنعتی برای درک دستورات زبانی ساده بدون وابستگی به سرورهای ابری.
• حفظ حریم خصوصی: با پردازش داده‌ها به صورت محلی، اطلاعات حساس کاربران (مانند پیام‌ها یا دستورات صوتی) هرگز از دستگاه خارج نمی‌شود، که امنیت و حریم خصوصی را به طور کامل تضمین می‌کند.
• کاهش هزینه‌های زیرساخت: شرکت‌ها می‌توانند با حذف نیاز به سرورهای قدرتمند برای پردازش‌های NLP، هزینه‌های عملیاتی خود را به شدت کاهش دهند.
• دسترسی‌پذیری: این فناوری امکان ارائه قابلیت‌های پیشرفته NLP را در مناطق با دسترسی محدود به اینترنت فراهم می‌کند و به دموکراتیک شدن هوش مصنوعی کمک می‌کند.

مقاله pNLP-Mixer یک گام مهم و رو به جلو در زمینه ساخت مدل‌های پردازش زبان طبیعی کارآمد و سبک است. این پژوهش با موفقیت نشان داد که می‌توان با فاصله گرفتن از معماری‌های پیچیده و سنگین ترنسفورمر و با تکیه بر ایده‌های خلاقانه مانند ساختارهای تماماً MLP و طراحی‌های بدون لایه Embedding، به نتایجی درخشان دست یافت. pNLP-Mixer ثابت می‌کند که برای بسیاری از وظایف عملی، رویکرد “بزرگتر همیشه بهتر نیست” و می‌توان با بهینه‌سازی هوشمندانه، توازن ایده‌آلی بین دقت، سرعت و حجم مدل برقرار کرد.

این معماری نه تنها یک راه حل عملی برای چالش‌های فعلی هوش مصنوعی روی دستگاه ارائه می‌دهد، بلکه الهام‌بخش مسیرهای تحقیقاتی جدیدی برای طراحی نسل بعدی مدل‌های زبانی خواهد بود؛ مدل‌هایی که هوشمند، سریع، امن و در دسترس همگان هستند.