در سال‌های اخیر، مدل‌های زبانی بزرگ (LLMs) مبتنی بر معماری ترنسفورمر، مانند BERT و GPT، انقلابی در حوزه پردازش زبان طبیعی (NLP) ایجاد کرده‌اند. این مدل‌ها با استفاده از فرآیندی به نام «پیش‌آموزش خودنظارتی» بر روی حجم عظیمی از داده‌های متنی، توانایی درک و تولید زبان انسان را به سطحی بی‌سابقه رسانده‌اند. با این حال، این پیشرفت با هزینه‌ای گزاف همراه بوده است: فرآیند پیش‌آموزش و حتی استفاده (استنتاج) از این مدل‌ها نیازمند توان محاسباتی بسیار بالا، زمان طولانی و مصرف انرژی قابل توجهی است. این چالش، دسترسی به این فناوری را برای بسیاری از پژوهشگران و شرکت‌های کوچک محدود کرده و نگرانی‌های زیست‌محیطی را نیز به همراه داشته است.

مقاله “NarrowBERT: Accelerating Masked Language Model Pretraining and Inference” پاسخی نوآورانه به این چالش ارائه می‌دهد. این مقاله یک معماری اصلاح‌شده از ترنسفورمر به نام NarrowBERT را معرفی می‌کند که با هوشمندی، بار محاسباتی را در مدل‌های زبانی ماسک‌شده (Masked Language Models – MLM) به شدت کاهش می‌دهد. اهمیت این پژوهش در آن است که راهی به سوی توسعه مدل‌های زبانی کارآمدتر، مقرون‌به‌صرفه‌تر و پایدارتر می‌گشاید و می‌تواند گامی مهم در جهت «دموکراتیک‌سازی» هوش مصنوعی پیشرفته باشد.

این مقاله حاصل همکاری تیمی از پژوهشگران برجسته از دانشکده علوم و مهندسی کامپیوتر پل جی. آلن در دانشگاه واشنگتن و شرکت اپل است. نویسندگان مقاله، Haoxin Li، Phillip Keung، Daniel Cheng، Jungo Kasai و Noah A. Smith، همگی از چهره‌های شناخته‌شده در حوزه یادگیری ماشین و پردازش زبان طبیعی هستند. به ویژه، پروفسور نوآ اسمیت یکی از محققان پیشرو در این زمینه است که سهم بسزایی در پیشرفت NLP داشته است.

این تحقیق در بطن یک جریان مهم در هوش مصنوعی مدرن قرار دارد: «هوش مصنوعی سبز» (Green AI) و بهینه‌سازی مدل‌ها. در حالی که روند غالب به سمت ساخت مدل‌های بزرگ‌تر و پیچیده‌تر حرکت می‌کند، یک شاخه تحقیقاتی موازی بر روی افزایش کارایی و کاهش هزینه‌های محاسباتی و انرژی متمرکز شده است. NarrowBERT نمونه‌ای درخشان از این رویکرد است که نشان می‌دهد می‌توان بدون قربانی کردن کارایی، به بهره‌وری چشمگیری دست یافت.

ایده اصلی مقاله NarrowBERT بسیار هوشمندانه و در عین حال ساده است. در مدل‌های زبانی ماسک‌شده مانند BERT، هدف پیش‌آموزش، پیش‌بینی کلماتی است که به صورت تصادفی در جمله «ماسک» یا پنهان شده‌اند. مدل استاندارد BERT برای انجام این کار، تمام کلمات جمله را (چه ماسک‌شده و چه نشده) در تمام لایه‌های خود پردازش می‌کند. این یعنی محاسبات سنگین مکانیزم «توجه خودی» (Self-Attention) و «شبکه‌های پیش‌خور» (Feed-Forward Networks) برای هر توکن در هر لایه انجام می‌شود.

NarrowBERT این فرآیند را با «تنک‌سازی» (Sparsification) محاسبات، بهینه می‌کند. این مدل فرض می‌کند که برای پیش‌بینی توکن‌های ماسک‌شده، نیازی نیست که توکن‌های دیگر (که محتوای آن‌ها مشخص است) محاسبات کاملی را در لایه‌های بالایی ترنسفورمر طی کنند. بنابراین، NarrowBERT تنها توکن‌های ماسک‌شده را به صورت کامل پردازش می‌کند. این رویکرد باعث کاهش چشمگیر حجم محاسبات و در نتیجه افزایش سرعت می‌شود. نویسندگان ادعا می‌کنند که این روش، سرعت پیش‌آموزش را بیش از ۲ برابر و سرعت استنتاج برای وظایف خاصی را تا ۳.۵ برابر افزایش می‌دهد، در حالی که عملکرد مدل در تسک‌های مختلف NLP تقریباً بدون افت باقی می‌ماند.

برای درک بهتر نوآوری NarrowBERT، ابتدا باید نگاهی گذرا به معماری استاندارد انکودر ترنسفورمر بیندازیم. هر لایه از انکودر دو بخش اصلی دارد:

• مکانیزم توجه خودی (Self-Attention): در این بخش، هر توکن در جمله به تمام توکن‌های دیگر «توجه» می‌کند تا یک نمایش غنی از محتوا (contextual representation) برای خود بسازد. این کار با محاسبه ماتریس‌های Query (Q)، Key (K) و Value (V) برای تمام توکن‌ها انجام می‌شود که از نظر محاسباتی بسیار سنگین است.
• شبکه‌های پیش‌خور (Feed-Forward Networks – FFN): پس از لایه توجه، نمایش هر توکن از یک شبکه عصبی دو لایه عبور می‌کند تا پردازش بیشتری روی آن صورت گیرد. این بخش نیز سهم بزرگی از محاسبات را به خود اختصاص می‌دهد.

NarrowBERT این ساختار را به شکل زیر اصلاح می‌کند:

• توجه خودی تنک (Sparse Self-Attention): در NarrowBERT، ماتریس Query (Q) فقط برای توکن‌های ماسک‌شده محاسبه می‌شود. در حالی که ماتریس‌های Key (K) و Value (V) همچنان برای تمام توکن‌های جمله محاسبه می‌شوند. این بدان معناست که توکن‌های ماسک‌شده همچنان می‌توانند به کل جمله توجه کنند تا اطلاعات لازم برای پیش‌بینی را جمع‌آوری کنند، اما توکن‌های غیرماسک‌شده نیازی به ایجاد «پرس و جو» برای به‌روزرسانی نمایش خود ندارند. این کار به شدت ابعاد ماتریس توجه و حجم محاسبات را کاهش می‌دهد.
• شبکه‌های پیش‌خور تنک (Sparse FFN): به طور مشابه، تنها نمایش خروجی توکن‌های ماسک‌شده از لایه توجه، به بخش FFN فرستاده می‌شود. از آنجایی که در پیش‌آموزش MLM معمولاً تنها ۱۵٪ از توکن‌ها ماسک می‌شوند، این تغییر به معنای کاهش حدود ۸۵ درصدی در محاسبات FFN است.

این رویکرد برای فاز استنتاج نیز بسیار کارآمد است. برای مثال، در وظایف دسته‌بندی جملات (مانند تحلیل احساسات)، معمولاً از نمایش توکن ویژه `[CLS]` استفاده می‌شود. با NarrowBERT می‌توان این توکن را به عنوان تنها توکن «فعال» یا «ماسک‌شده» در نظر گرفت و محاسبات سنگین لایه‌ها را فقط برای آن انجام داد که منجر به افزایش سرعت فوق‌العاده‌ای تا ۳.۵ برابر می‌شود.

نویسندگان مقاله برای اثبات کارایی NarrowBERT، آزمایش‌های گسترده‌ای انجام داده و نتایج قابل توجهی را گزارش کرده‌اند:

• افزایش سرعت پیش‌آموزش: در آزمایش‌های انجام شده بر روی مجموعه داده‌های استاندارد (مانند Wikipedia و BookCorpus)، NarrowBERT توانست توان عملیاتی (throughput) پیش‌آموزش را بیش از ۲ برابر نسبت به مدل استاندارد BERT افزایش دهد. این یعنی می‌توان یک مدل را در کمتر از نصف زمان معمول آموزش داد.
• افزایش سرعت استنتاج: برای وظایف کدگذاری جمله (sentence encoding) مانند تسک MNLI (استنتاج زبان طبیعی)، NarrowBERT به افزایش سرعتی تا ۳.۵ برابر دست یافت. این دستاورد برای کاربردهای بلادرنگ (real-time) که نیازمند پاسخ‌دهی سریع هستند، بسیار حیاتی است.
• حفظ عملکرد: مهم‌ترین بخش یافته‌ها این است که این افزایش سرعت چشمگیر، با افت عملکرد همراه نبوده است. نتایج NarrowBERT در تسک‌های معتبر ارزیابی NLP به شرح زیر است:
  • MNLI: عملکرد تقریباً یکسان و بدون افت محسوس نسبت به BERT.
  • دسته‌بندی متون (IMDB و Amazon Reviews): نتایج کاملاً قابل مقایسه با مدل پایه.
  • تشخیص موجودیت‌های نامدار (CoNLL NER): عملکرد مشابه با BERT. جالب است که برای وظایف توکن-محور مانند NER که نیاز به نمایش تمام توکن‌ها دارند، مدل در فاز fine-tuning به حالت پردازش کامل برمی‌گردد، اما دانش کسب‌شده در پیش‌آموزش کارآمد، همچنان به آن اجازه می‌دهد تا عملکردی رقابتی داشته باشد.

معرفی NarrowBERT دستاوردهای مهم و کاربردهای عملی گسترده‌ای را به همراه دارد:

• کاهش هزینه‌ها و دسترسی‌پذیری: با کاهش شدید نیازهای محاسباتی، آموزش و استفاده از مدل‌های زبانی قدرتمند برای دانشگاه‌ها، استارتاپ‌ها و محققانی که به منابع محاسباتی عظیم دسترسی ندارند، امکان‌پذیرتر می‌شود.
• پایداری و هوش مصنوعی سبز: کاهش محاسبات به معنای مصرف انرژی کمتر است. این رویکرد به کاهش ردپای کربنی مراکز داده کمک کرده و گامی در جهت توسعه فناوری‌های هوش مصنوعی پایدار و دوستدار محیط زیست محسوب می‌شود.
• کاربردهای بلادرنگ: سرعت بالای استنتاج، استفاده از مدل‌های پیشرفته NLP را در اپلیکیشن‌هایی که به تأخیر کم (low latency) حساس هستند، مانند دستیارهای صوتی، چت‌بات‌های پشتیبانی مشتری و سیستم‌های ترجمه همزمان، عملی‌تر می‌سازد.
• الگویی برای بهینه‌سازی آینده: NarrowBERT نشان می‌دهد که می‌توان با به چالش کشیدن مفروضات اساسی در معماری مدل‌ها (مانند نیاز به پردازش کامل همه توکن‌ها)، به راه‌های جدیدی برای بهینه‌سازی دست یافت. این مقاله می‌تواند الهام‌بخش تحقیقات آینده در زمینه معماری‌های تنک و کارآمد باشد.

مقاله “NarrowBERT” یک راه حل خلاقانه و عملی برای یکی از بزرگترین معضلات حوزه پردازش زبان طبیعی، یعنی هزینه‌های سرسام‌آور محاسباتی، ارائه می‌دهد. این مدل با معرفی یک معماری ترنسفورمر تنک که پردازش را بر روی توکن‌های اطلاعاتی کلیدی (توکن‌های ماسک‌شده) متمرکز می‌کند، موفق شده است سرعت پیش‌آموزش و استنتاج را به طور چشمگیری افزایش دهد، بدون آنکه عملکرد نهایی مدل را به خطر اندازد.

NarrowBERT تنها یک بهینه‌سازی فنی نیست، بلکه یک گام مهم به سوی آینده‌ای است که در آن هوش مصنوعی پیشرفته، کارآمدتر، در دسترس‌تر و پایدارتر خواهد بود. این پژوهش به خوبی نشان می‌دهد که مسیر پیشرفت همیشه از طریق بزرگ‌تر کردن مدل‌ها نمی‌گذرد، بلکه نوآوری در معماری و الگوریتم‌ها می‌تواند نتایجی به همان اندازه شگرف، اما با هزینه‌ای بسیار کمتر، به ارمغان آورد.