مدل‌های ترانسفورمر بزرگ انقلابی در حوزه پردازش زبان طبیعی (NLP) ایجاد کرده و در طیف گسترده‌ای از وظایف عملکردی بی‌نظیر از خود نشان داده‌اند. با این حال، با وجود افزایش مقیاس مدل‌ها تا سطح تریلیون‌ها پارامتر، استقرار عملی مدل‌های با 10 تا 100 میلیارد پارامتر همچنان به دلیل محدودیت‌های شدید در تأخیر، توان عملیاتی و حافظه با چالش‌های اساسی مواجه است.

مقاله حاضر با عنوان “EnergonAI: یک سامانه استنتاج برای مدل‌های ترانسفورمر 10 تا 100 میلیارد پارامتری”، پاسخی نوآورانه و کارآمد به این چالش‌ها ارائه می‌دهد. EnergonAI یک سامانه استنتاج پیشرفته است که به طور خاص برای غلبه بر موانع استقرار کارآمد مدل‌های ترانسفورمر در مقیاس بزرگ، چه بر روی سیستم‌های تک‌GPU و چه بر روی سیستم‌های چند‌GPU، طراحی شده است. اهمیت EnergonAI در توانایی آن برای تبدیل مدل‌های عظیم نظری به ابزارهای عملی و قابل استفاده در صنایع مختلف نهفته است، که مسیر را برای نسل بعدی برنامه‌های کاربردی NLP هموار می‌سازد.

تحقیق حاضر توسط Jiangsu Du, Ziming Liu, Jiarui Fang, Shenggui Li, Yongbin Li, Yutong Lu, و Yang You انجام شده است. این نویسندگان از متخصصان شناخته‌شده در حوزه‌های یادگیری ماشین (Machine Learning)، محاسبات توزیع‌شده (Distributed Computing)، موازی‌سازی (Parallel Computing) و محاسبات خوشه‌ای (Cluster Computing) هستند.

با افزایش بی‌سابقه اندازه مدل‌های هوش مصنوعی، به ویژه مدل‌های ترانسفورمر، نیاز به سیستم‌هایی که بتوانند این مدل‌ها را به طور کارآمد آموزش داده و استنتاج کنند، بیش از پیش احساس می‌شود. این مدل‌ها به دلیل تعداد پارامترهای بسیار زیاد (اغلب ده‌ها تا صدها میلیارد پارامتر) نیازمند منابع محاسباتی و حافظه‌ای عظیم هستند که فراتر از توانایی یک تک‌پردازنده گرافیکی (GPU) است. بنابراین، چگونگی تقسیم‌بندی و مدیریت بار کاری این مدل‌ها در چندین پردازنده گرافیکی یا خوشه‌هایی از سرورها، به یک مسئله حیاتی تبدیل شده است. این مقاله به طور خاص بر فاز استنتاج تمرکز دارد که برای پیاده‌سازی عملی مدل‌های هوش مصنوعی در مقیاس صنعتی از اهمیت بالایی برخوردار است.

مدل‌های ترانسفورمر بزرگ عملکرد امیدوارکننده‌ای در طیف وسیعی از وظایف پردازش زبان طبیعی (NLP) از خود نشان می‌دهند. اما استقرار مدل‌های 10 تا 100 میلیارد پارامتری هنوز به دلیل محدودیت‌های تأخیر، توان عملیاتی و حافظه با عدم قطعیت همراه است. EnergonAI برای حل این چالش‌ها در استقرار کارآمد مدل‌های ترانسفورمر 10 تا 100 میلیارد پارامتری بر روی سیستم‌های تک‌GPU یا چند‌GPU پیشنهاد شده است.

EnergonAI یک معماری سیستم کنترل‌کننده سلسله‌مراتبی (hierarchy-controller system architecture) را اتخاذ می‌کند تا چندین دستگاه را هماهنگ کرده و از الگوهای موازی‌سازی مختلف به طور کارآمد پشتیبانی کند. این سامانه اجرای زیرمدل‌ها را به چندین Worker در سبک “تک-کنترل‌کننده” (single-controller) واگذار می‌کند و موازی‌سازی تنسور (tensor parallelism) و موازی‌سازی خط لوله (pipeline parallelism) را در بین Workerها در سبک “چند-کنترل‌کننده” (multi-controller) به کار می‌گیرد.

بر اساس این معماری نوآورانه، سه تکنیک کلیدی پیشنهاد می‌شود:

• موازی‌سازی خط لوله غیرانسدادی (non-blocking pipeline parallelism): این تکنیک امکان اجرای موازی بخش‌های مختلف مدل را بدون نیاز به انتظار کامل برای اتمام یک مرحله پیشین فراهم می‌کند.
• حذف محاسبات تکراری توزیع‌شده (distributed redundant computation elimination): این روش از انجام محاسبات تکراری غیرضروری در بین دستگاه‌های مختلف جلوگیری می‌کند.
• تجمع حافظه همتا (peer memory pooling): این تکنیک مدیریت حافظه را بهبود می‌بخشد، به ویژه در محیط‌های چند‌GPU.

EnergonAI به کاربران امکان می‌دهد کدهای موازی پیچیده را به همان سادگی کد سریال برنامه‌نویسی کنند. در مقایسه با FasterTransformer، EnergonAI عملکرد برتری در تأخیر و توان عملیاتی از خود نشان داده است. در آزمایشات انجام شده، EnergonAI موفق به کاهش 37 درصدی تأخیر در موازی‌سازی تنسور و بهبود 10 درصدی مقیاس‌پذیری در موازی‌سازی خط لوله شده است. همچنین، این سامانه با استفاده از یک فضای حافظه ناهمگن بزرگتر، مقیاس مدل قابل استنتاج بر روی یک تک‌GPU را افزایش می‌دهد، البته با کاهشی محدود در عملکرد.

روش‌شناسی EnergonAI بر پایه یک رویکرد سیستماتیک برای حل مشکل استنتاج مدل‌های ترانسفورمر بزرگ استوار است. هسته این روش‌شناسی، معماری سیستم کنترل‌کننده سلسله‌مراتبی است که برای هماهنگی و مدیریت کارآمد منابع محاسباتی در سیستم‌های چند‌GPU طراحی شده است. این معماری از دو سبک اصلی برای توزیع و موازی‌سازی کار استفاده می‌کند:

• **سبک تک-کنترل‌کننده (Single-Controller Style):** در این رویکرد، اجرای زیرمدل‌ها به Workerهای مختلف واگذار می‌شود که برای توزیع اولیه بار کاری مناسب است.
• **سبک چند-کنترل‌کننده (Multi-Controller Style):** برای دستیابی به حداکثر کارایی در مدل‌های بسیار بزرگ، EnergonAI از این سبک بهره می‌برد که در آن موازی‌سازی تنسور و موازی‌سازی خط لوله بین Workerها اعمال می‌شود.
  • **موازی‌سازی تنسور:** تنسورهای بزرگ (مانند ماتریس‌های وزن مدل) به قطعات کوچکتر تقسیم شده و هر قطعه بر روی یک دستگاه مجزا پردازش می‌شود تا نیاز حافظه بر روی هر GPU کاهش یابد.
  • **موازی‌سازی خط لوله:** مدل به چندین مرحله (لایه‌ها) تقسیم شده و هر مرحله بر روی یک دستگاه جداگانه اجرا می‌گردد. داده‌ها به صورت خط لوله از یک دستگاه به دستگاه بعدی جریان می‌یابند تا تأخیر کلی کاهش یابد و استفاده از منابع بهینه شود.

علاوه بر این معماری، EnergonAI سه تکنیک نوآورانه را معرفی می‌کند که به طور چشمگیری کارایی را افزایش می‌دهند:

1. **موازی‌سازی خط لوله غیرانسدادی (Non-blocking Pipeline Parallelism):** این تکنیک امکان شروع پردازش مراحل بعدی را حتی قبل از تکمیل کامل مراحل قبلی فراهم می‌کند. این رویکرد با همپوشانی محاسبات و ارتباطات، به طور موثری تأخیر را کاهش می‌دهد و استفاده از GPU را بهینه می‌سازد، به ویژه در سناریوهای استنتاج با درخواست‌های متوالی.
2. **حذف محاسبات تکراری توزیع‌شده (Distributed Redundant Computation Elimination):** EnergonAI مکانیزم‌هایی را برای شناسایی و حذف محاسبات تکراری غیرضروری در بین دستگاه‌های مختلف ارائه می‌دهد. این امر از اتلاف منابع جلوگیری کرده و بهینه‌سازی منابع محاسباتی را به همراه دارد.
3. **تجمع حافظه همتا (Peer Memory Pooling):** این تکنیک به GPUها اجازه می‌دهد تا به طور کارآمدتری از حافظه یکدیگر استفاده کنند. این امر به ویژه در سناریوهایی که یک GPU ممکن است فضای حافظه محدودتری داشته باشد یا زمانی که نیاز به اشتراک‌گذاری داده‌های بزرگ بین GPUها وجود دارد، مفید است و می‌تواند به طور پویا حافظه را بین دستگاه‌ها تخصیص دهد.

یکی از دستاوردهای مهم EnergonAI، سادگی در برنامه‌نویسی است. این سامانه به کاربران اجازه می‌دهد تا کدهای موازی پیچیده را به همان سادگی یک کد سریال برنامه‌نویسی کنند. این ویژگی به طور قابل توجهی مانع ورود به دنیای محاسبات موازی را کاهش می‌دهد و به محققان و توسعه‌دهندگان کمک می‌کند تا بر منطق مدل خود تمرکز کنند.

EnergonAI در آزمایشات گسترده خود، عملکردی چشمگیر و برتر نسبت به سامانه‌های استنتاج موجود، از جمله FasterTransformer، به نمایش گذاشته است. مهم‌ترین یافته‌های کلیدی عبارتند از:

• **کاهش قابل توجه تأخیر (Latency Reduction):** در سناریوهای استفاده از موازی‌سازی تنسور، EnergonAI موفق به کاهش 37 درصدی تأخیر شده است. تأخیر کمتر به معنای پاسخ‌دهی سریع‌تر سیستم‌های هوش مصنوعی است که برای کاربردهایی مانند دستیاران صوتی و چت‌بات‌ها حیاتی است.
• **بهبود مقیاس‌پذیری (Scalability Improvement):** در زمینه موازی‌سازی خط لوله، EnergonAI توانسته است مقیاس‌پذیری را تا 10% بهبود بخشد. مقیاس‌پذیری بالاتر به این معنی است که سیستم می‌تواند با افزایش تعداد GPUها یا پیچیدگی مدل، عملکرد خود را به طور مؤثرتری حفظ کند. این بهبود به ویژه برای استقرار مدل‌های 100 میلیارد پارامتری و بالاتر در محیط‌های خوشه‌ای، بسیار ارزشمند است.
• **افزایش مقیاس مدل بر روی تک‌GPU با حافظه ناهمگن (Increased Model Scale on Single GPU with Heterogeneous Memory):** EnergonAI قابلیت استنتاج مدل‌های بزرگتر را بر روی یک تک‌GPU با استفاده از یک فضای حافظه ناهمگن بزرگتر فراهم می‌کند. این ویژگی امکان اجرای مدل‌هایی را فراهم می‌آورد که به تنهایی در حافظه یک GPU جای نمی‌گیرند، و این کار را با هزینه‌ای محدود از کاهش عملکرد انجام می‌دهد. این دستاورد برای محققان و توسعه‌دهندگانی که دسترسی به خوشه‌های بزرگ GPU ندارند، بسیار مهم است و به نوعی دموکراتیزه کردن دسترسی به مدل‌های هوش مصنوعی عظیم را در پی دارد.

به طور کلی، این یافته‌ها اثبات می‌کنند که EnergonAI یک گام بزرگ رو به جلو در زمینه استنتاج مدل‌های ترانسفورمر با تعداد پارامترهای بالا است و راه‌حل‌های عملی و کارآمدی را برای چالش‌های فعلی در این حوزه ارائه می‌دهد.

دستاوردهای EnergonAI پیامدهای گسترده‌ای برای کاربردهای هوش مصنوعی در صنایع مختلف دارد و چندین روش کلیدی برای استقرار و بهره‌برداری از مدل‌های ترانسفورمر بزرگ را متحول می‌کند:

کاربردها:

• **NLP مقیاس بزرگ:** امکان پیاده‌سازی چت‌بات‌ها، دستیاران مجازی، سیستم‌های ترجمه ماشینی، خلاصه‌سازی و تولید محتوا با پارامترهای بسیار زیاد و تأخیر کم، که منجر به تعاملات طبیعی‌تر و نتایج دقیق‌تر می‌شود.
• **سیستم‌های توصیه‌گر:** استقرار مدل‌های ترانسفورمر عظیم برای ارائه توصیه‌های شخصی‌سازی شده در مقیاس وسیع و با سرعت بالا در پلتفرم‌های تجارت الکترونیک یا رسانه‌های اجتماعی.
• **بیوانفورماتیک و کشف دارو:** اجرای کارآمد مدل‌های بزرگ برای تحلیل توالی‌های بیولوژیکی و پیش‌بینی ساختار پروتئین یا تعاملات مولکولی در تحقیقات علمی.
• **کاهش هزینه‌های عملیاتی:** با افزایش توان عملیاتی و بهره‌وری از سخت‌افزار موجود، سازمان‌ها می‌توانند بدون نیاز به سرمایه‌گذاری‌های عظیم در زیرساخت‌های جدید، مدل‌های هوش مصنوعی پیشرفته را پیاده‌سازی کنند.

دستاوردها:

• **دسترسی دموکراتیک‌تر به مدل‌های بزرگ:** توانایی اجرای مدل‌های 10 تا 100 میلیارد پارامتری حتی بر روی یک GPU با استفاده از حافظه ناهمگن، دسترسی به مدل‌های پیشرفته را برای محققان و شرکت‌های کوچکتر تسهیل می‌کند.
• **سادگی برنامه‌نویسی:** EnergonAI با ارائه یک رابط برنامه‌نویسی که امکان نوشتن کدهای موازی پیچیده را به سادگی یک کد سریال فراهم می‌کند، مانع ورود به حوزه محاسبات موازی را کاهش داده و فرآیند توسعه را تسریع می‌بخشد.
• **استانداردسازی استنتاج:** این سامانه می‌تواند به عنوان یک چارچوب استاندارد برای استنتاج مدل‌های ترانسفورمر بزرگ عمل کند و نیاز به توسعه راه‌حل‌های موازی‌سازی سفارشی را کاهش دهد.

به طور خلاصه، EnergonAI نه تنها چالش‌های فنی مهمی را در زمینه استنتاج مدل‌های ترانسفورمر بزرگ حل می‌کند، بلکه با تسهیل دسترسی و بهره‌برداری از این مدل‌ها، به پیشرفت‌های عملی و کاربردی گسترده‌ای در هوش مصنوعی کمک شایانی می‌کند.

مقاله “EnergonAI: یک سامانه استنتاج برای مدل‌های ترانسفورمر 10 تا 100 میلیارد پارامتری” یک راه‌حل مهم برای چالش‌های اساسی در استقرار کارآمد مدل‌های ترانسفورمر عظیم ارائه می‌دهد. با وجود قدرت بی‌نظیر مدل‌های بزرگ NLP، محدودیت‌های تأخیر، توان عملیاتی و حافظه همواره مانعی برای کاربردی‌سازی آن‌ها بوده‌اند.

EnergonAI با معرفی معماری سیستم کنترل‌کننده سلسله‌مراتبی و بهره‌گیری از تکنیک‌های نوین مانند موازی‌سازی خط لوله غیرانسدادی، حذف محاسبات تکراری توزیع‌شده و تجمع حافظه همتا، به طور چشمگیری تأخیر را کاهش داده (37% در موازی‌سازی تنسور) و مقیاس‌پذیری را بهبود بخشیده (10% در موازی‌سازی خط لوله). توانایی این سامانه در اجرای مدل‌های بزرگتر بر روی یک تک‌GPU با استفاده از حافظه ناهمگن، دسترسی به هوش مصنوعی پیشرفته را دموکراتیزه می‌کند.

علاوه بر این، سادگی برنامه‌نویسی EnergonAI به توسعه‌دهندگان اجازه می‌دهد تا بر منطق مدل تمرکز کنند تا پیچیدگی‌های موازی‌سازی. این دستاوردها EnergonAI را به یک ابزار حیاتی برای استقرار مدل‌های ترانسفورمر 10 تا 100 میلیارد پارامتری تبدیل کرده و مسیر را برای نوآوری‌های بیشتر و کاربردی‌سازی گسترده‌تر هوش مصنوعی در مقیاس جهانی هموار می‌سازد.