۱. مقدمه و اهمیت مقاله

در عصر حاضر، مدل‌های زبانی بزرگ پیش‌آموز (Large-scale Pretrained Language Models – PLMs) به سنگ بنای نوآوری در حوزه پردازش زبان طبیعی (NLP) تبدیل شده‌اند. این مدل‌ها با توانایی درک و تولید متن، انقلابی در نحوه تعامل انسان با ماشین ایجاد کرده‌اند. مدل‌هایی مانند GPT-3 با صدها میلیارد پارامتر، عملکرد شگفت‌انگیزی را در وظایف مختلف زبانی، از جمله درک مطلب و تولید متن، با رویکرد یادگیری “چند-شات در متن” (few-shot in-context learning) به نمایش گذاشته‌اند. این مقاله به معرفی و بررسی مدل زبانی پنگو-آلفا (PanGu-$α$) می‌پردازد، که یک مدل خودبازگشتی (autoregressive) مقیاس بزرگ با تمرکز بر زبان چینی است و با هدف ارتقاء قابلیت‌های NLP در این زبان توسعه یافته است. اهمیت این پژوهش در مقیاس بی‌سابقه مدل (تا ۲۰۰ میلیارد پارامتر)، استراتژی محاسبات خود-موازی کارآمد و استفاده از داده‌های با کیفیت بالا برای آموزش است که در نهایت منجر به دستیابی به نتایج چشمگیر در وظایف مختلف زبان چینی شده است.

۲. نویسندگان و زمینه تحقیق

این مقاله حاصل تلاش تیمی از پژوهشگران برجسته است که نام‌هایشان عبارتند از: وی زنگ (Wei Zeng)، شیاوژه رن (Xiaozhe Ren)، تنگ سو (Teng Su)، هوی وانگ (Hui Wang)، یی لیائو (Yi Liao)، ژی‌وی وانگ (Zhiwei Wang)، شین جیانگ (Xin Jiang)، ژن‌ژانگ یانگ (ZhenZhang Yang)، کیسینگ وانگ (Kaisheng Wang)، شیاودا ژانگ (Xiaoda Zhang)، چن لی (Chen Li)، زیان گونگ (Ziyan Gong)، ییفان یائو (Yifan Yao)، ژینجینگ هوانگ (Xinjing Huang)، جون وانگ (Jun Wang)، جیان‌فنگ یو (Jianfeng Yu)، کی گئو (Qi Guo)، یوئه یو (Yue Yu)، یان ژانگ (Yan Zhang)، جین وانگ (Jin Wang)، هنگ‌تائو تائو (Hengtao Tao)، داسن یان (Dasen Yan)، زکسوان یی (Zexuan Yi)، فانگ پنگ (Fang Peng)، و فانگ‌چینگ جیانگ (Fangqing Jiang). این گروه پژوهشی در حوزه “محاسبات و زبان” (Computation and Language) فعالیت می‌کنند و تمرکز اصلی آن‌ها بر توسعه مدل‌های زبانی پیشرفته و مقیاس بزرگ برای پردازش زبان چینی است. زمینه تحقیق این مقاله در تقاطع هوش مصنوعی، یادگیری عمیق و پردازش زبان طبیعی قرار دارد و به طور خاص به چالش‌ها و راهکارهای موجود در آموزش مدل‌های زبانی عظیم و افزایش کارایی محاسباتی آن‌ها می‌پردازد.

۳. چکیده و خلاصه محتوا

چکیده مقاله به طور خلاصه به معرفی مدل پنگو-آلفا، ویژگی‌های کلیدی آن و نتایج حاصل از آزمایش‌ها می‌پردازد. در این مقاله، پژوهشگران تجربه خود را در آموزش مدل‌های زبانی خودبازگشتی مقیاس بزرگ به نام پنگو-آلفا، با حداکثر ۲۰۰ میلیارد پارامتر، ارائه می‌دهند. این مدل با استفاده از فریم‌ورک MindSpore و بر روی خوشه‌ای متشکل از ۲۰۴۸ پردازنده هوش مصنوعی Ascend 910 آموزش داده شده است. استراتژی موازی‌سازی محاسبات (parallelism strategy) با بهره‌گیری از قابلیت Auto-parallel در MindSpore پیاده‌سازی شده است که پنج بعد موازی‌سازی را برای مقیاس‌بندی کارآمد وظیفه آموزش به ۲۰۴۸ پردازنده ترکیب می‌کند. این ابعاد شامل موازی‌سازی داده (data parallelism)، موازی‌سازی مدل در سطح عملیات (op-level model parallelism)، موازی‌سازی مدل خط لوله (pipeline model parallelism)، موازی‌سازی بهینه‌ساز (optimizer model parallelism) و بازسازی (rematerialization) است. برای ارتقاء قابلیت تعمیم‌پذیری (generalization ability) پنگو-آلفا، حجمی معادل ۱.۱ ترابایت داده با کیفیت بالا از دامنه‌های متنوع زبان چینی جمع‌آوری و برای پیش‌آموزش مدل استفاده شده است. توانایی تولید متن پنگو-آلفا در سناریوهای مختلفی از جمله خلاصه‌سازی متن، پاسخ به پرسش، تولید مکالمه و غیره به صورت تجربی آزمایش شده است. علاوه بر این، تأثیر مقیاس مدل بر عملکرد آن در تنظیمات “چند-شات” برای طیف گسترده‌ای از وظایف NLP چینی مورد بررسی قرار گرفته است. نتایج تجربی، توانمندی‌های برتر پنگو-آلفا را در انجام وظایف مختلف تحت تنظیمات “چند-شات” یا “صفر-شات” (zero-shot) نشان می‌دهد.

۴. روش‌شناسی تحقیق

روش‌شناسی تحقیق در مقاله پنگو-آلفا بر دو محور اصلی استوار است: ساختار مدل و استراتژی محاسبات موازی. در ادامه به جزئیات این روش‌ها می‌پردازیم:

• ساختار مدل: پنگو-آلفا یک مدل زبانی خودبازگشتی (autoregressive) است. این بدان معناست که مدل در هر مرحله، کلمه بعدی را بر اساس دنباله‌ای از کلمات قبلی پیش‌بینی می‌کند، که این رویکرد برای وظایف تولید متن بسیار مناسب است. مقیاس مدل، که تا ۲۰۰ میلیارد پارامتر می‌رسد، نشان‌دهنده پیچیدگی و توانایی بالای آن در یادگیری الگوهای زبانی است. این حجم عظیم از پارامترها امکان درک ظرافت‌های زبان چینی و همچنین قابلیت‌های پیشرفته در پردازش معنایی و تولید متن را فراهم می‌آورد. انتخاب معماری خودبازگشتی، مدل را قادر می‌سازد تا متن را به صورت پیوسته و منطقی تولید کند، که این امر برای کاربردهایی مانند داستان‌سرایی، خلاصه‌سازی و تولید پاسخ‌های متنی طبیعی حیاتی است.

• استراتژی محاسبات موازی (Auto-parallel): آموزش مدل‌های زبانی در این مقیاس، نیازمند منابع محاسباتی عظیمی است. پژوهشگران برای غلبه بر این چالش، از فریم‌ورک MindSpore و قابلیت Auto-parallel آن بهره گرفته‌اند. این استراتژی، وظیفه آموزش را به پنج بعد موازی‌سازی تقسیم می‌کند تا بتواند به طور مؤثری از ۲۰۴۸ پردازنده Ascend 910 استفاده کند. این ابعاد موازی‌سازی عبارتند از:

  • موازی‌سازی داده (Data Parallelism): در این روش، داده‌های آموزشی بین پردازنده‌های مختلف تقسیم می‌شوند و هر پردازنده یک نسخه از مدل را بر روی بخش خود از داده‌ها آموزش می‌دهد. گرادیان‌ها پس از محاسبه، بین تمام پردازنده‌ها جمع‌آوری و میانگین‌گیری می‌شوند.
  • موازی‌سازی مدل در سطح عملیات (Op-level Model Parallelism): لایه‌ها یا عملیات خاصی از مدل بین پردازنده‌ها تقسیم می‌شوند. هر پردازنده مسئول محاسبه بخشی از یک لایه یا عملیات پیچیده است.
  • موازی‌سازی مدل خط لوله (Pipeline Model Parallelism): مدل به بخش‌های متوالی (مراحل خط لوله) تقسیم می‌شود و هر مرحله بر روی یک گروه از پردازنده‌ها اجرا می‌شود. داده‌ها به صورت متوالی از مراحل عبور می‌کنند.
  • موازی‌سازی بهینه‌ساز (Optimizer Parallelism): وضعیت بهینه‌ساز (مانند پارامترهای momentum) بین پردازنده‌ها توزیع می‌شود، که این امر می‌تواند حافظه مورد نیاز برای آموزش مدل‌های بسیار بزرگ را کاهش دهد.
  • بازسازی (Rematerialization): به جای ذخیره تمام فعال‌سازی‌های میانی (intermediate activations) برای محاسبه گرادیان‌ها، برخی از آن‌ها در زمان نیاز مجدداً محاسبه می‌شوند. این تکنیک نیز به کاهش مصرف حافظه کمک می‌کند.

  ترکیب این پنج استراتژی موازی‌سازی، امکان آموزش مدل‌هایی با مقیاس ۲۰۰ میلیارد پارامتر را بر روی یک خوشه بزرگ محاسباتی فراهم کرده و بهره‌وری منابع را به حداکثر رسانده است.

• مجموعه داده: برای اطمینان از قابلیت تعمیم‌پذیری و عملکرد قوی مدل در زبان چینی، پژوهشگران مجموعه داده‌ای بسیار بزرگ به حجم ۱.۱ ترابایت جمع‌آوری کرده‌اند. این داده‌ها از طیف وسیعی از دامنه‌ها (مانند اخبار، ادبیات، گفتگوهای روزمره، مقالات علمی و غیره) گردآوری شده‌اند. کیفیت بالای این مجموعه داده، نقش مهمی در یادگیری الگوهای زبانی پیچیده و متنوع زبان چینی توسط مدل ایفا کرده است.

۵. یافته‌های کلیدی

یافته‌های کلیدی مقاله پنگو-آلفا نشان‌دهنده موفقیت این رویکرد در توسعه مدل‌های زبانی مقیاس بزرگ برای زبان چینی است. مهم‌ترین این یافته‌ها عبارتند از:

• مقیاس‌پذیری موفق محاسباتی: با موفقیت توانستند مدلی با ۲۰۰ میلیارد پارامتر را بر روی یک زیرساخت محاسباتی بزرگ (۲۰۴۸ پردازنده) آموزش دهند. استراتژی پنج‌بعدی موازی‌سازی، کلید این دستاورد بوده است.
• عملکرد برتر در تنظیمات Few-shot و Zero-shot: مدل پنگو-آلفا توانایی قابل توجهی در انجام وظایف مختلف NLP چینی با دریافت تنها چند نمونه (few-shot) یا حتی بدون هیچ نمونه‌ای (zero-shot) از قبل نشان داده است. این نشان‌دهنده قدرت تعمیم‌پذیری بالای مدل است.
• توانایی تولید متن با کیفیت بالا: در ارزیابی‌های کیفی، مدل قادر به تولید متن‌های منسجم، مرتبط و خلاقانه در سناریوهایی مانند خلاصه‌سازی، پاسخ به پرسش و تولید مکالمه بوده است.
• تأثیر مقیاس مدل: آزمایش‌ها نشان داده‌اند که افزایش مقیاس مدل (تعداد پارامترها) منجر به بهبود قابل توجهی در عملکرد آن در طیف وسیعی از وظایف NLP چینی، به ویژه در تنظیمات Few-shot، می‌شود. این یافته با روند کلی در مدل‌های زبانی بزرگ مطابقت دارد.
• تنوع دامنه‌ها در داده‌های آموزشی: استفاده از ۱.۱ ترابایت داده از دامنه‌های متنوع، به مدل کمک کرده تا درک عمیق‌تری از زبان چینی در کاربردهای مختلف پیدا کند و بتواند با انعطاف‌پذیری بالاتری به وظایف گوناگون پاسخ دهد.

۶. کاربردها و دستاوردها

مدل پنگو-آلفا با قابلیت‌های گسترده خود، پتانسیل بالایی برای کاربرد در حوزه‌های متنوع پردازش زبان چینی دارد. دستاوردهای این پروژه نه تنها به جامعه علمی، بلکه به توسعه‌دهندگان و صنایع نیز کمک خواهد کرد:

• توسعه دستیاران هوشمند پیشرفته: تولید پاسخ‌های دقیق و طبیعی برای پرسش‌ها، خلاصه‌سازی خودکار متون طولانی، و ایجاد مکالمات روان با کاربران، از جمله کاربردهای اصلی در دستیاران مجازی و چت‌بات‌ها هستند.
• بهبود ابزارهای ترجمه ماشینی: درک عمیق‌تر معنا و بافت متن در زبان چینی می‌تواند به ارتقاء کیفیت ترجمه ماشینی به و از این زبان کمک کند.
• تولید محتوای خلاقانه: استفاده از مدل برای نوشتن مقالات، داستان‌ها، شعر یا حتی سناریوهای نمایشی با الهام از متون موجود.
• تجزیه و تحلیل احساسات و نظرات: درک دقیق‌تر احساسات و نظرات بیان شده در متون چینی، برای تحلیل بازار، شبکه‌های اجتماعی و بازخورد مشتریان.
• دسترسی به اطلاعات: تسهیل جستجو و بازیابی اطلاعات مرتبط در حجم انبوهی از متون به زبان چینی.
• تحقیقات علمی: مدل پنگو-آلفا به عنوان یک ابزار قدرتمند برای پژوهشگران حوزه NLP چینی عمل می‌کند و امکان بررسی عمیق‌تر پدیده‌های زبانی و توسعه مدل‌های تخصصی‌تر را فراهم می‌آورد.

دستاورد اصلی این مقاله، نه تنها معرفی یک مدل زبانی قدرتمند، بلکه اثبات امکان‌پذیری و کارایی استراتژی‌های محاسبات موازی برای آموزش مدل‌های فوق‌بزرگ است. این امر راه را برای توسعه مدل‌های مشابه در زبان‌های دیگر و با مقیاس‌های حتی بزرگتر هموار می‌کند.

۷. نتیجه‌گیری

مقاله “پنگو-آلفا: مدل‌های زبانی پیش‌آموز خودبازگشتی مقیاس بزرگ چینی با محاسبات خود-موازی” دستاوردی مهم در حوزه هوش مصنوعی و پردازش زبان طبیعی، به ویژه برای زبان چینی، محسوب می‌شود. این پژوهش با معرفی مدلی تا ۲۰۰ میلیارد پارامتر و به کارگیری استراتژی‌های نوآورانه محاسبات موازی بر روی ۲۰۴۸ پردازنده، توانسته است بر چالش‌های کلیدی مقیاس‌پذیری در آموزش مدل‌های زبانی غلبه کند. کیفیت بالای مجموعه داده آموزشی و معماری خودبازگشتی، به پنگو-آلفا اجازه داده تا عملکرد درخشانی در وظایف مختلف NLP در تنظیمات Few-shot و Zero-shot از خود نشان دهد.

این مدل نشان‌دهنده گام مهمی در جهت ایجاد مدل‌های زبانی هوشمندتر و کارآمدتر است که می‌توانند در طیف وسیعی از کاربردها، از دستیاران هوشمند گرفته تا ابزارهای تولید محتوا، مورد استفاده قرار گیرند. پژوهشگران با موفقیت اثبات کرده‌اند که با ترکیب معماری‌های مناسب، داده‌های با کیفیت و استراتژی‌های محاسباتی پیشرفته، دستیابی به مدل‌های زبانی بسیار قدرتمند برای زبان‌هایی که تا پیش از این کمتر مورد توجه قرار گرفته بودند، امکان‌پذیر است. آینده این حوزه، با توسعه مدل‌هایی مانند پنگو-آلفا، نویدبخش پیشرفت‌های چشمگیر در تعامل انسان و ماشین خواهد بود.