در سال‌های اخیر، دنیای هوش مصنوعی شاهد رشد انفجاری در اندازه و توانایی مدل‌های زبانی بوده است. این مدل‌ها که گاهی با صدها میلیارد یا حتی تریلیون‌ها پارامتر ساخته می‌شوند، توانایی‌های شگفت‌انگیزی در تولید متن، ترجمه ماشینی، و درک زبان طبیعی از خود نشان داده‌اند. اما این قدرت عظیم با یک چالش بزرگ همراه است: چگونه می‌توان این «فیل‌های» سنگین‌وزن دنیای دیجیتال را در محیط‌های واقعی و کاربردی به کار گرفت؟ عنوان کنایه‌آمیز و هوشمندانه مقاله، «چه کسی گفته فیل‌ها نمی‌توانند بدوند؟»، به خوبی این چالش را به تصویر می‌کشد.

این مقاله به یکی از بزرگترین موانع بر سر راه استفاده عملی از پیشرفته‌ترین مدل‌های هوش مصنوعی، یعنی مدل‌های «ترکیبی از متخصصان» (Mixture of Experts – MoE)، می‌پردازد. این مدل‌ها به دلیل معماری خاص خود می‌توانند با پارامترهای بسیار زیاد آموزش ببینند و به کیفیت بی‌نظیری دست یابند، اما استقرار آن‌ها در سرورهای عملیاتی به دلیل نیاز به حافظه بسیار بالا و سرعت پایین استنتاج (Inference)، تقریباً غیرممکن به نظر می‌رسید. این مقاله چارچوبی نوآورانه ارائه می‌دهد که نه تنها این مشکل را حل می‌کند، بلکه یک تغییر پارادایم در نحوه استقرار مدل‌های زبانی غول‌پیکر ایجاد می‌نماید.

این مقاله توسط تیمی از پژوهشگران برجسته به نام‌های یانگ جین کیم (Young Jin Kim)، راون هنری (Rawn Henry)، رافی فهیم (Raffy Fahim) و هانی حسن عوض‌الله (Hany Hassan Awadalla) به رشته تحریر درآمده است. این پژوهشگران در مرز میان یادگیری ماشین، هوش مصنوعی و مهندسی سیستم‌های مقیاس‌بزرگ فعالیت می‌کنند. تخصص آن‌ها در تبدیل دستاوردهای نظری هوش مصنوعی به راه‌حل‌های عملی و کارآمدی است که بتوانند در مقیاس جهانی و در بستر رایانش ابری مورد استفاده قرار گیرند. این مقاله نتیجه مستقیم تلاش برای پر کردن شکاف عمیق بین آموزش مدل‌های عظیم و استقرار اقتصادی و سریع آن‌ها در دنیای واقعی است.

مدل‌های MoE با استفاده از معماری «اجرای شرطی» و «لایه‌های با فعال‌سازی پراکنده» توانسته‌اند محدودیت‌های مقیاس‌پذیری مدل‌های سنتی را پشت سر بگذارند. در این معماری، به جای اینکه کل شبکه برای هر ورودی فعال شود، تنها بخش کوچکی از شبکه (متخصصان مربوطه) برای پردازش هر ورودی انتخاب و فعال می‌شوند. این ویژگی امکان آموزش مدل‌هایی با تعداد پارامترهای نجومی را فراهم کرده و منجر به بهبود چشمگیر کیفیت در وظایفی مانند ترجمه ماشینی شده است.

با این حال، این مزیت در زمان آموزش، در زمان استقرار به یک کابوس تبدیل می‌شود. برای پردازش یک درخواست، کل مدل با تمام متخصصانش باید در حافظه بارگذاری شود که نیازمند منابع سخت‌افزاری بسیار گران‌قیمت است. مقاله حاضر یک چارچوب استنتاج بسیار کارآمد را معرفی می‌کند که با چندین رویکرد بهینه‌سازی، این مشکلات را برطرف می‌سازد. این چارچوب هم محاسبات مدل‌های پراکنده را تسریع می‌بخشد و هم مصرف حافظه را به شکل چشمگیری کاهش می‌دهد.

محققان برای حل این چالش، دو استراتژی اصلی را به کار گرفته‌اند: بهینه‌سازی محاسبات و فشرده‌سازی حافظه.

• تسریع محاسبات (Computation Acceleration): چالش اصلی در مدل‌های MoE، سربار ناشی از مسیریابی پویا (Dynamic Routing) است؛ یعنی فرآیند تصمیم‌گیری برای اینکه کدام متخصصان باید برای یک ورودی خاص فعال شوند. نویسندگان با بهینه‌سازی این فرآیند و اجرای موازی محاسبات متخصصان بر روی سخت‌افزارهای مدرن (مانند GPU)، توانسته‌اند گلوگاه‌های محاسباتی را از بین ببرند. این رویکرد شامل تکنیک‌هایی برای دسته‌بندی (batching) هوشمند درخواست‌ها و هم‌پوشانی (overlapping) ارتباطات و محاسبات است تا سخت‌افزار همواره در حال کار باقی بماند. نتیجه این بهینه‌سازی‌ها، افزایش چشمگیر توان عملیاتی (Throughput) یا تعداد درخواست‌هایی است که سیستم در هر ثانیه پردازش می‌کند.
• کاهش مصرف حافظه از طریق کوانتیزه‌سازی (Quantization): بزرگترین نوآوری این مقاله شاید در این بخش باشد. وزن‌های یک مدل هوش مصنوعی معمولاً به صورت اعداد اعشاری با دقت بالا (32-bit float) ذخیره می‌شوند. این دقت بالا حجم عظیمی از حافظه را اشغال می‌کند. نویسندگان با استفاده از تکنیکی به نام کوانتیزه‌سازی، وزن‌های متخصصان را به اعداد صحیح کم‌دقت (4-bit integers) تبدیل کرده‌اند. این کار به تنهایی حجم مدل را به یک هشتم (32/4 = 8) کاهش می‌دهد، بدون آنکه افت قابل توجهی در کیفیت نهایی مدل مشاهده شود. این کاهش چشمگیر در حافظه، استقرار مدل‌های بسیار بزرگتر بر روی سخت‌افزارهای موجود را امکان‌پذیر می‌سازد.

ترکیب این دو روش، یک سیستم استنتاج بهینه ایجاد کرده است که می‌تواند مدل‌های MoE غول‌پیکر را با سرعتی بالا و هزینه‌ای پایین اجرا کند.

نتایج تجربی ارائه‌شده در مقاله، تحولی بزرگ را به نمایش می‌گذارند. این چارچوب به دستاوردهای کمی زیر دست یافته است:

• افزایش سرعت: دستیابی به افزایش سرعت تا ۲۶ برابر در توان عملیاتی سیستم در مقایسه با روش‌های پیاده‌سازی متداول. این بدان معناست که یک سرور می‌تواند ۲۶ برابر بیشتر کاربر را به صورت همزمان سرویس‌دهی کند.
• کاهش حجم مدل: با کوانتیزه‌سازی ۴ بیتی، حجم مدل تقریباً به ۱۲.۵٪ (یک هشتم) مدل اصلی ۳۲ بیتی کاهش یافته است. این امر نیاز به حافظه RAM و VRAM را به شدت کاهش می‌دهد.
• مقیاس‌پذیری بی‌سابقه: در نتیجه این بهینه‌سازی‌ها، اکنون می‌توان مدل‌هایی را مستقر کرد که ۱۳۶ برابر بزرگتر از مدل‌های متراکمی هستند که قبلاً در همان بستر سخت‌افزاری قابل اجرا بودند.
• کاهش هزینه: چارچوب جدید موفق شده است با وجود استقرار مدل‌های بسیار بزرگتر و باکیفیت‌تر، هزینه‌های عملیاتی را ۲۷٪ کاهش دهد.
• کیفیت برتر: مهم‌تر از همه، این دستاوردها با فدا کردن کیفیت همراه نبوده است. برعکس، مدل‌های بزرگتر مستقر شده، کیفیتی به مراتب بهتر در وظایفی مانند ترجمه ماشینی چندزبانه ارائه می‌دهند.

تا پیش از این، رویکرد غالب برای استفاده از مدل‌های بزرگ در مقیاس صنعتی، فرآیندی به نام «تقطیر» (Distillation) بود. در این روش، یک مدل غول‌پیکر و بسیار دقیق (مدل معلم) آموزش داده می‌شد و سپس از دانش آن برای آموزش ده‌ها یا صدها مدل کوچکتر و تخصصی‌تر (مدل‌های دانش‌آموز) استفاده می‌شد. برای مثال، در یک سرویس ترجمه، یک مدل دانش‌آموز برای ترجمه انگلیسی به فارسی، دیگری برای انگلیسی به آلمانی و … ایجاد می‌شد. این فرآیند بسیار پرهزینه، زمان‌بر و پیچیده برای مدیریت بود.

این مقاله یک تغییر پارادایم را ممکن می‌سازد. به جای تقطیر و مدیریت ده‌ها مدل کوچک، اکنون می‌توان یک مدل واحد، عظیم و چندزبانه MoE را مستقیماً مستقر کرد. این مدل واحد می‌تواند تمامی وظایف (مانند ترجمه بین همه زبان‌ها) را با کیفیتی بالاتر از هر یک از مدل‌های دانش‌آموز تخصصی انجام دهد. این امر نه تنها پیچیدگی مهندسی را به شدت کاهش می‌دهد، بلکه به کاربران نهایی نیز خدماتی با کیفیت بالاتر و پایدارتر ارائه می‌دهد. این دستاورد، راه را برای نسل بعدی سیستم‌های هوش مصنوعی یکپارچه و چندمنظوره هموار می‌کند.

مقاله «چه کسی گفته فیل‌ها نمی‌توانند بدوند؟» پاسخی قاطع و عملی به یکی از مهم‌ترین چالش‌های پیش روی صنعت هوش مصنوعی ارائه می‌دهد. این پژوهش نشان می‌دهد که با مهندسی هوشمندانه سیستم و الگوریتم، می‌توان مدل‌های زبانی غول‌پیکر MoE را از یک کنجکاوی آکادمیک به یک ابزار قدرتمند و کارآمد در مقیاس تولید ابری تبدیل کرد. چارچوب معرفی‌شده با ترکیب بهینه‌سازی‌های محاسباتی و تکنیک‌های پیشرفته فشرده‌سازی مانند کوانتیزه‌سازی ۴ بیتی، به طور همزمان سرعت را افزایش داده، مصرف حافظه را کاهش داده و هزینه‌ها را مدیریت می‌کند. این موفقیت نه تنها استقرار نسل فعلی مدل‌های هوش مصنوعی را اقتصادی می‌کند، بلکه راه را برای ساخت و استفاده از مدل‌های حتی بزرگتر و تواناتر در آینده باز می‌نماید.