مقاله حاضر به بررسی روشی نوین برای بهبود کارایی و عملکرد مدل‌های ترنسفورمر، یکی از ارکان اصلی پردازش زبان طبیعی (NLP) در سال‌های اخیر، می‌پردازد. با توجه به رشد روزافزون اندازه و پیچیدگی این مدل‌ها، هزینه آموزش و استنتاج آنها به طور فزاینده‌ای بالا رفته است. این مقاله با معرفی اِن-گرامر (N-Grammer)، سعی دارد تا با استفاده از مفهوم اِن-گرام‌های نهفته (latent n-grams)، راهکاری کارآمدتر برای آموزش و استنتاج مدل‌های ترنسفورمر ارائه دهد.

این مقاله توسط گروهی از محققان برجسته در زمینه‌های یادگیری ماشین و پردازش زبان طبیعی به نگارش درآمده است. فهرست نویسندگان به شرح زیر است:

• Aurko Roy
• Rohan Anil
• Guangda Lai
• Benjamin Lee
• Jeffrey Zhao
• Shuyuan Zhang
• Shibo Wang
• Ye Zhang
• Shen Wu
• Rigel Swavely
• Tao Yu
• Phuong Dao
• Christopher Fifty
• Zhifeng Chen
• Yonghui Wu

زمینه اصلی تحقیقات این گروه، بهینه‌سازی و کارآمدسازی مدل‌های ترنسفورمر برای پردازش زبان طبیعی است. تحقیقات قبلی این نویسندگان نیز در همین راستا بوده و بر کاهش هزینه‌های محاسباتی و بهبود عملکرد مدل‌ها تمرکز داشته است.

همانطور که اشاره شد، مقاله حاضر به معرفی روش اِن-گرامر می‌پردازد. این روش یک تغییر ساده اما موثر در معماری ترنسفورمر است که با الهام از ادبیات مدل‌سازی آماری زبان، مدل را با اِن-گرام‌هایی که از یک نمایش نهفته گسسته از دنباله متن ساخته شده‌اند، تقویت می‌کند.

ایده اصلی در این است که به جای اینکه مدل ترنسفورمر به طور مستقیم با دنباله‌های کلمات کار کند، از یک نمایش انتزاعی‌تر و فشرده‌تر از متن استفاده شود. این نمایش توسط اِن-گرام‌های نهفته ساخته می‌شود. به عبارت دیگر، مدل ابتدا متن را به مجموعه‌ای از اِن-گرام‌ها (دنباله‌های n تایی از کلمات) تبدیل می‌کند و سپس از این اِن-گرام‌ها برای درک بهتر معنای متن استفاده می‌کند.

محققان این مدل (اِن-گرامر) را بر روی دو مجموعه داده‌ی مهم آزمایش کرده‌اند: مجموعه داده C4 برای مدل‌سازی زبان و مجموعه داده SuperGLUE برای طبقه‌بندی متن. نتایج نشان می‌دهد که اِن-گرامر عملکرد بهتری نسبت به مدل‌های پایه قوی مانند ترنسفورمر و پرایمر (Primer) دارد.

روش‌شناسی تحقیق در این مقاله شامل چندین مرحله کلیدی است:

1. طراحی مدل اِن-گرامر: در این مرحله، محققان معماری جدیدی را برای ترنسفورمر طراحی کرده‌اند که اِن-گرام‌های نهفته را در خود جای می‌دهد. این معماری شامل یک لایه رمزگذار است که دنباله ورودی را به یک نمایش نهفته تبدیل می‌کند و سپس این نمایش نهفته برای ساخت اِن-گرام‌ها استفاده می‌شود.
2. آموزش مدل: مدل اِن-گرامر بر روی مجموعه داده C4 آموزش داده شده است. این مجموعه داده یک مجموعه داده بزرگ و متنوع از متن است که برای آموزش مدل‌های زبان مناسب است.
3. ارزیابی مدل: مدل اِن-گرامر بر روی مجموعه داده SuperGLUE ارزیابی شده است. SuperGLUE یک مجموعه داده معیاری برای ارزیابی عملکرد مدل‌های پردازش زبان طبیعی در وظایف مختلف مانند طبقه‌بندی متن، استنتاج طبیعی زبان و پاسخ به سوال است.
4. مقایسه با مدل‌های پایه: عملکرد اِن-گرامر با عملکرد چندین مدل پایه قوی مانند ترنسفورمر و پرایمر مقایسه شده است. این مقایسه به منظور نشان دادن مزایای اِن-گرامر نسبت به مدل‌های موجود انجام شده است.

یکی از نکات قابل توجه در این تحقیق، استفاده از کتابخانه Jax برای پیاده‌سازی مدل است. Jax یک کتابخانه قدرتمند برای محاسبات عددی است که امکان آموزش سریع و کارآمد مدل‌های یادگیری ماشین را فراهم می‌کند. محققان کد منبع مدل خود را به صورت متن باز منتشر کرده‌اند تا امکان تکرارپذیری و استفاده مجدد از آن توسط سایر محققان فراهم شود.

یافته‌های کلیدی این تحقیق عبارتند از:

• بهبود عملکرد در مدل‌سازی زبان: اِن-گرامر عملکرد بهتری نسبت به مدل‌های پایه در مجموعه داده C4 نشان داد. این نشان می‌دهد که استفاده از اِن-گرام‌های نهفته می‌تواند به بهبود توانایی مدل در درک و تولید زبان کمک کند.
• بهبود عملکرد در طبقه‌بندی متن: اِن-گرامر عملکرد بهتری نسبت به مدل‌های پایه در مجموعه داده SuperGLUE نشان داد. این نشان می‌دهد که اِن-گرامر می‌تواند برای وظایف مختلف پردازش زبان طبیعی مفید باشد.
• کاهش هزینه‌های محاسباتی: اِن-گرامر می‌تواند با کاهش تعداد پارامترهای مدل، هزینه‌های محاسباتی را کاهش دهد. این امر به ویژه برای مدل‌های بزرگ و پیچیده ترنسفورمر اهمیت دارد.

به طور خلاصه، نتایج این تحقیق نشان می‌دهد که اِن-گرامر یک روش موثر برای بهبود کارایی و عملکرد مدل‌های ترنسفورمر است.

پیاده سازی روش اِن-گرامر، دستاوردهای متعددی را به همراه دارد و در زمینه‌های مختلفی قابل استفاده است:

• بهبود موتورهای جستجو: اِن-گرامر می‌تواند با درک بهتر معنای عبارات جستجو، نتایج جستجو را بهبود بخشد. به عنوان مثال، اگر کاربر عبارت “بهترین رستوران‌های ایتالیایی در تهران” را جستجو کند، اِن-گرامر می‌تواند با درک ارتباط بین کلمات “رستوران”، “ایتالیایی” و “تهران”، نتایج دقیق‌تری را ارائه دهد.
• بهبود سیستم‌های ترجمه ماشینی: اِن-گرامر می‌تواند با درک بهتر ساختار جملات، کیفیت ترجمه را بهبود بخشد. به عنوان مثال، اِن-گرامر می‌تواند با تشخیص افعال، اسم‌ها و حروف اضافه، جملات را به طور صحیح‌تر ترجمه کند.
• بهبود ربات‌های گفتگو (chatbot): اِن-گرامر می‌تواند با درک بهتر منظور کاربران، پاسخ‌های مناسب‌تری را ارائه دهد. به عنوان مثال، اگر کاربر به یک ربات گفتگو بگوید “من گرسنه‌ام”، اِن-گرامر می‌تواند با درک مفهوم “گرسنگی”، پیشنهاداتی برای غذا خوردن ارائه دهد.
• توسعه مدل‌های زبان کارآمدتر: اِن-گرامر می‌تواند به عنوان یک بلوک ساختمانی برای توسعه مدل‌های زبان کارآمدتر و کم‌هزینه‌تر مورد استفاده قرار گیرد. این امر به ویژه برای استفاده از مدل‌های زبان در دستگاه‌های با منابع محدود مانند تلفن‌های همراه و دستگاه‌های اینترنت اشیا (IoT) اهمیت دارد.

دستاورد مهم دیگر این تحقیق، انتشار کد منبع مدل اِن-گرامر است. این امر به سایر محققان امکان می‌دهد تا از این مدل استفاده کرده و آن را بهبود بخشند.

مقاله حاضر یک گام مهم در جهت بهینه‌سازی و کارآمدسازی مدل‌های ترنسفورمر در پردازش زبان طبیعی محسوب می‌شود. معرفی روش اِن-گرامر و اثبات کارایی آن در بهبود عملکرد و کاهش هزینه‌های محاسباتی، می‌تواند تاثیر قابل توجهی بر پیشرفت‌های آتی در این زمینه داشته باشد. این تحقیق نشان می‌دهد که با ترکیب مفاهیم سنتی مدل‌سازی آماری زبان با معماری‌های مدرن یادگیری عمیق، می‌توان به نتایج بسیار خوبی دست یافت. انتشار کد منبع مدل نیز به تسریع روند تحقیقات و توسعه در این حوزه کمک خواهد کرد.