در سال‌های اخیر، حوزه پردازش زبان طبیعی (NLP) شاهد پیشرفت‌های چشمگیری بوده است که عمدتاً ناشی از مقیاس‌پذیری مدل‌های زبانی بوده است. مدل‌هایی مانند GPT-3 با افزایش تعداد پارامترها، حجم داده‌های آموزشی و توان محاسباتی، به توانایی‌های شگفت‌انگیزی در درک و تولید زبان انسان دست یافته‌اند. با این حال، این رویکرد که به «مقیاس‌پذیری متراکم» (Dense Scaling) مشهور است، با چالش‌های بزرگی روبروست: هزینه‌های سرسام‌آور محاسباتی و مصرف انرژی فوق‌العاده بالا. آموزش یک مدل غول‌پیکر متراکم می‌تواند میلیون‌ها دلار هزینه داشته باشد و ردپای کربن قابل‌توجهی از خود به جای بگذارد.

مقاله «GLaM: مقیاس‌بندی کارآمد مدل‌های زبانی با معماری Mixture-of-Experts» که توسط تیمی از محققان گوگل ارائه شده، راه‌حلی نوآورانه برای این معضل ارائه می‌دهد. این مقاله نشان می‌دهد که می‌توان مدل‌هایی با ظرفیت بسیار بالاتر ساخت، در حالی که هزینه‌های آموزش و استنتاج (Inference) را به شدت کاهش داد. اهمیت این پژوهش در معرفی یک مسیر جایگزین برای رشد مدل‌های زبانی است: مسیری که بر کارایی و پایداری تمرکز دارد، بدون آنکه از کیفیت و توانمندی مدل کاسته شود. GLaM ثابت می‌کند که «بزرگ‌تر» لزوماً به معنای «متراکم‌تر» یا «پرهزینه‌تر» نیست و راه را برای نسل بعدی مدل‌های زبانی غول‌پیکر اما بهینه هموار می‌کند.

این مقاله حاصل تلاش گروه بزرگی از پژوهشگران برجسته در آزمایشگاه هوش مصنوعی گوگل (Google Research) است. نام‌هایی مانند Nan Du، Yanping Huang، Quoc V Le و Yonghui Wu در میان نویسندگان دیده می‌شود که همگی سوابق درخشانی در زمینه یادگیری عمیق و مدل‌های زبانی دارند. این تیم تحقیقاتی پیش از این نیز در توسعه مدل‌های مقیاس‌پذیر و کارآمد نقش کلیدی داشته‌اند.

این تحقیق در بحبوحه رقابت برای ساخت مدل‌های زبانی بزرگ‌تر و توانمندتر انجام شد. پس از موفقیت مدل‌هایی مانند GPT-3 از OpenAI، تمرکز بسیاری از آزمایشگاه‌های پیشرو بر روی افزایش بی‌رویه تعداد پارامترها در معماری‌های متراکم قرار گرفت. با این حال، تیم گوگل با الهام از معماری‌های فعال‌سازی پراکنده (Sparsely Activated)، به دنبال رویکردی متفاوت رفت. آن‌ها بر این فرضیه کار کردند که برای پردازش هر ورودی، نیازی به فعال‌سازی کل شبکه عصبی نیست و می‌توان با انتخاب هوشمندانه بخش‌های کوچکی از مدل، به نتایج مشابه یا حتی بهتر دست یافت.

مقاله، خانواده‌ای از مدل‌های زبانی به نام GLaM (Generalist Language Model) را معرفی می‌کند که از معماری «ترکیبی از متخصصان» یا Mixture-of-Experts (MoE) بهره می‌برد. این معماری به مدل اجازه می‌دهد تا ظرفیت خود را به طرز چشمگیری افزایش دهد، اما هزینه محاسباتی را پایین نگه دارد. ایده اصلی این است که به جای یک مدل یکپارچه و متراکم، مدل از تعداد زیادی «متخصص» (زیرشبکه‌های کوچک‌تر) تشکیل شده است و برای پردازش هر توکن ورودی، تنها تعداد محدودی از این متخصصان فعال می‌شوند.

بزرگ‌ترین مدل GLaM دارای ۱.۲ تریلیون پارامتر است که تقریباً ۷ برابر بزرگ‌تر از GPT-3 (با ۱۷۵ میلیارد پارامتر) است. با این وجود، این مدل شگفتی‌های زیر را به همراه دارد:

• مصرف انرژی کمتر: برای آموزش GLaM تنها به یک‌سوم انرژی مورد نیاز برای آموزش GPT-3 نیاز است.
• محاسبات استنتاج کمتر: در زمان استفاده از مدل (استنتاج)، GLaM به نصف محاسبات (FLOPs) مدل‌های متراکم با عملکرد مشابه نیاز دارد.
• عملکرد برتر: با وجود کارایی بالا، GLaM در ۲۹ وظیفه مختلف پردازش زبان طبیعی، در هر دو حالت یادگیری صفر-شات (Zero-shot) و تک-شات (One-shot)، عملکردی بهتر از GPT-3 از خود نشان می‌دهد.

قلب نوآوری GLaM در معماری Mixture-of-Experts (MoE) نهفته است. برای درک بهتر این معماری، آن را با مدل‌های متراکم مقایسه می‌کنیم:

مدل‌های متراکم (Dense Models) مانند GPT-3: در این مدل‌ها، برای پردازش هر کلمه یا توکن ورودی، تمام پارامترهای مدل فعال شده و در محاسبات شرکت می‌کنند. این مانند آن است که برای پاسخ به یک سؤال ساده، از تمام کارمندان یک شرکت بزرگ نظرخواهی کنید. این فرآیند بسیار کند و پرهزینه است.

مدل‌های پراکنده (Sparse Models) با معماری MoE مانند GLaM: در این معماری، لایه‌های Feed-Forward شبکه عصبی با بلوک‌های MoE جایگزین می‌شوند. هر بلوک MoE از دو بخش اصلی تشکیل شده است:

• متخصصان (Experts): مجموعه‌ای از شبکه‌های عصبی کوچک‌تر و مستقل (مثلاً ۶۴ متخصص در هر لایه MoE). هر متخصص در زمینه‌ای خاص تبحر دارد.
• شبکه مسیریاب (Gating Network): یک شبکه کوچک که وظیفه دارد برای هر توکن ورودی، تصمیم بگیرد کدام متخصصان برای پردازش آن مناسب‌تر هستند. این شبکه به صورت هوشمند، تنها تعداد محدودی از متخصصان (مثلاً ۲ متخصص برتر) را انتخاب و فعال می‌کند.

بنابراین، وقتی یک جمله وارد مدل GLaM می‌شود، برای هر کلمه، شبکه مسیریاب دو متخصص از میان ۶۴ متخصص موجود را فراخوانی می‌کند. محاسبات فقط روی این دو متخصص انجام می‌شود و بقیه ۶۲ متخصص غیرفعال باقی می‌مانند. به همین دلیل، با وجود اینکه مدل در مجموع ۱.۲ تریلیون پارامتر دارد، در هر لحظه تنها بخش کوچکی از این پارامترها فعال هستند. این همان چیزی است که به آن «فعال‌سازی پراکنده» می‌گویند و کلید کارایی فوق‌العاده GLaM است. این رویکرد به مدل اجازه می‌دهد تا دانش عظیمی را در خود ذخیره کند (ظرفیت بالا) اما در عمل بسیار سبک و سریع باشد (هزینه محاسباتی پایین).

محققان برای ارزیابی GLaM، آن را در طیف گسترده‌ای از وظایف NLP با مدل‌های پیشرفته دیگر، به ویژه GPT-3، مقایسه کردند. نتایج به دست آمده بسیار قابل توجه بود:

• برتری در عملکرد: GLaM به طور متوسط در ۲۹ معیار ارزیابی مختلف، از جمله درک مطلب، پاسخ به پرسش، و استدلال منطقی، عملکرد بهتری نسبت به GPT-3 (175B) داشت. این برتری در وظایف نیازمند دانش عمومی و استدلال پیچیده مشهودتر بود.
• کارایی آموزشی بی‌نظیر: با وجود اندازه ۷ برابری، GLaM با مصرف تنها ۳۳٪ از انرژی مصرفی برای آموزش GPT-3، به این سطح از عملکرد رسید. این دستاورد، مقیاس‌پذیری مدل‌های زبانی را از نظر زیست‌محیطی و اقتصادی بسیار دسترس‌پذیرتر می‌کند.
• سرعت استنتاج بالاتر: در زمان استفاده از مدل برای تولید متن یا پاسخ به سؤالات، GLaM تنها به نیمی از توان محاسباتی یک مدل متراکم با کیفیت مشابه نیاز داشت. این به معنای تأخیر کمتر و هزینه پایین‌تر برای کاربردهای عملی است.
• رابطه مقیاس و کیفیت: این پژوهش نشان داد که با استفاده از معماری MoE، افزایش تعداد پارامترها (و در نتیجه، تعداد متخصصان) همچنان منجر به بهبود کیفیت می‌شود، اما این بهبود با هزینه‌ای بسیار کمتر از مدل‌های متراکم به دست می‌آید.

موفقیت GLaM پیامدهای مهمی برای آینده هوش مصنوعی و پردازش زبان طبیعی دارد:

۱. هوش مصنوعی پایدار (Green AI): این رویکرد نشان می‌دهد که می‌توان بدون افزایش تصاعدی مصرف انرژی، به مدل‌های قدرتمندتر دست یافت. این گامی مهم در جهت توسعه هوش مصنوعی مسئولانه و پایدار است.

۲. دموکراتیزه کردن مدل‌های بزرگ: با کاهش هزینه‌های آموزش و استنتاج، شرکت‌ها و موسسات تحقیقاتی بیشتری قادر خواهند بود مدل‌های زبانی بزرگ را توسعه داده و از آن‌ها استفاده کنند. این امر می‌تواند نوآوری را در این حوزه تسریع کند.

۳. مدل‌های چندوظیفه‌ای بهتر: ظرفیت عظیم GLaM به آن اجازه می‌دهد تا دانش گسترده‌تری را در خود جای دهد. این امر آن را به یک مدل «عمومی‌نگر» (Generalist) واقعی تبدیل می‌کند که می‌تواند طیف وسیعی از وظایف را بدون نیاز به تنظیم دقیق (Fine-tuning) انجام دهد.

۴. باز شدن مسیرهای تحقیقاتی جدید: GLaM ثابت کرد که معماری‌های پراکنده یک مسیر امیدوارکننده برای آینده مدل‌های زبانی است. این امر محققان را تشویق می‌کند تا بر روی بهبود الگوریتم‌های مسیریابی، بهینه‌سازی ساختار متخصصان و کشف روش‌های جدید برای آموزش کارآمد این مدل‌ها تمرکز کنند.

مقاله GLaM یک نقطه عطف در تاریخ توسعه مدل‌های زبانی بزرگ محسوب می‌شود. این پژوهش با هوشمندی نشان داد که چالش بزرگ مقیاس‌پذیری، راه‌حلی جز افزایش بی‌رویه تراکم و مصرف منابع ندارد. با معرفی و پیاده‌سازی موفق معماری Mixture-of-Experts، محققان گوگل یک پارادایم جدید را معرفی کردند: مقیاس‌پذیری کارآمد.

GLaM با داشتن ۱.۲ تریلیون پارامتر، نه تنها از رقیب اصلی خود یعنی GPT-3 بزرگ‌تر است، بلکه در عین حال بهینه‌تر، سریع‌تر و از نظر انرژی پاک‌تر عمل می‌کند و در بسیاری از وظایف نیز عملکرد بهتری دارد. این دستاورد ثابت می‌کند که آینده مدل‌های هوش مصنوعی در گروی معماری‌های هوشمند و پراکنده است؛ معماری‌هایی که می‌توانند دانش را در مقیاس وسیع ذخیره کنند، اما آن را به صورت انتخابی و بهینه به کار گیرند. GLaM تنها یک مدل نیست، بلکه یک نقشه راه برای ساخت نسل آینده هوش مصنوعی قدرتمند، پایدار و در دسترس است.