در سال‌های اخیر، حوزه پردازش زبان طبیعی (NLP) شاهد تحولی بنیادین با ظهور مدل‌های زبانی بزرگ (LLMs) بوده است. پارادایم غالب در این حوزه، که به «پیش‌آموزش و تنظیم دقیق» (Pre-train and Fine-tune) شهرت دارد، بر پایه آموزش مدل‌ها بر روی حجم عظیمی از داده‌های متنی بدون برچسب استوار است تا مدل بتواند درک عمیقی از ساختار و معنای زبان پیدا کند. تمرکز اصلی تحقیقات تا به امروز بر مقیاس‌دهی دو عامل کلیدی بوده است: اندازه مدل (تعداد پارامترها) و حجم داده‌های پیش‌آموزش.

مقاله ExT5: Towards Extreme Multi-Task Scaling for Transfer Learning که توسط تیمی از محققان گوگل ارائه شده، یک بعد جدید و بسیار مهم را به این معادله اضافه می‌کند: مقیاس‌دهی تعداد وظایف نظارتی (Supervised Tasks) در مرحله پیش‌آموزش. این مقاله به جای تکیه صرف بر یادگیری خودنظارتی (self-supervised)، این پرسش اساسی را مطرح می‌کند: «اگر یک مدل را به طور همزمان بر روی تعداد بسیار زیادی از وظایف متنوع و گوناگون آموزش دهیم، چه اتفاقی می‌افتد؟» اهمیت این رویکرد در پتانسیل آن برای ساخت مدل‌هایی نهفته است که نه تنها دانش زبانی عمومی را فرا می‌گیرند، بلکه از ابتدا با طیف وسیعی از مهارت‌های حل مسئله آشنا می‌شوند و در نتیجه، به مدل‌هایی کارآمدتر، قدرتمندتر و با قابلیت تعمیم‌پذیری بالاتر تبدیل می‌شوند.

این مقاله توسط تیمی برجسته از محققان آزمایشگاه هوش مصنوعی گوگل از جمله Vamsi Aribandi، Yi Tay، Tal Schuster و Donald Metzler به رشته تحریر درآمده است. این تیم پیش از این نیز در توسعه مدل‌های زبانی تحول‌آفرین، به‌ویژه خانواده مدل‌های T5 (Text-to-Text Transfer Transformer) نقش کلیدی داشته‌اند. مدل T5 با ارائه یک چارچوب یکپارچه «متن به متن» که در آن هر وظیفه NLP به عنوان یک مسئله تبدیل متن ورودی به متن خروجی فرمول‌بندی می‌شود، انقلابی در این حوزه ایجاد کرد.

مقاله ExT5 را می‌توان گام منطقی بعدی در تکامل این رویکرد دانست. در حالی که T5 بر قدرت یادگیری خودنظارتی تمرکز داشت، ExT5 با افزودن یک جزء یادگیری چندوظیفه‌ای (Multi-task Learning) در مقیاسی بی‌سابقه، به دنبال بهبود فرآیند پیش‌آموزش و افزایش بهره‌وری مدل است. این تحقیق در بستر تلاش‌های گسترده‌تر جامعه علمی برای یافتن راه‌هایی فراتر از بزرگ‌تر کردن مدل‌ها برای دستیابی به هوش مصنوعی پیشرفته‌تر قرار می‌گیرد.

با وجود موفقیت‌های اخیر در یادگیری چندوظیفه‌ای و یادگیری انتقالی (Transfer Learning)، مطالعات کمی به صورت نظام‌مند به بررسی تأثیر افزایش چشمگیر تعداد وظایف در مرحله پیش‌آموزش پرداخته‌اند. این مقاله برای پر کردن این خلاء، مجموعه داده عظیمی به نام ExMix (Extreme Mixture) را معرفی می‌کند که شامل ۱۰۷ وظیفه نظارتی NLP از حوزه‌ها و خانواده‌های مختلف است.

نویسندگان با استفاده از ExMix، تأثیر پیش‌آموزش چندوظیفه‌ای را در بزرگترین مقیاس گزارش‌شده تا به امروز بررسی کرده و پدیده انتقال دانش بین خانواده‌های مختلف وظایف را تحلیل می‌کنند. تحلیل‌های آن‌ها نشان می‌دهد که انتخاب دستی یک مجموعه ایده‌آل از وظایف برای پیش‌آموزش، کاری پیچیده و غیرمستقیم است و صرفاً افزایش تعداد وظایف به خودی خود می‌تواند به بهبود چشمگیر عملکرد مدل منجر شود. در نهایت، مقاله مدل ExT5 را پیشنهاد می‌کند؛ مدلی که با یک هدف ترکیبی شامل «حذف نویز بخشی از متن» (Span Denoising) به صورت خودنظارتی و آموزش نظارتی بر روی مجموعه ExMix پیش‌آموزش دیده است. آزمایش‌های گسترده نشان می‌دهد که ExT5 در معیارهای معتبری مانند SuperGLUE، GEM، Rainbow و وظایف پرسش و پاسخ کتاب-بسته (Closed-Book QA) عملکرد بهتری نسبت به مدل پایه قدرتمند T5 دارد و بهره‌وری نمونه (sample efficiency) را در حین پیش‌آموزش به طور قابل توجهی بهبود می‌بخشد.

روش‌شناسی این تحقیق بر سه ستون اصلی استوار است:

• مجموعه وظایف ExMix: قلب این پژوهش، مجموعه داده ExMix است. این مجموعه شامل ۱۰۷ وظیفه NLP است که با دقت از منابع مختلف گردآوری شده‌اند تا تنوع حداکثری را پوشش دهند. این وظایف شامل خانواده‌های مختلفی مانند خلاصه‌سازی متن، پرسش و پاسخ، تحلیل احساسات، استنتاج زبان طبیعی (NLI)، ترجمه ماشینی، و بسیاری دیگر می‌شوند. هدف از ایجاد ExMix، فراهم کردن یک محیط آموزشی غنی و چالش‌برانگیز بود تا مدل بتواند مهارت‌های گوناگونی را به طور همزمان بیاموزد.
• مدل و معماری ExT5: معماری ExT5 بر پایه مدل موفق T5 بنا شده است. نوآوری اصلی در روش پیش‌آموزش آن نهفته است. برخلاف T5 که عمدتاً بر روی یک هدف خودنظارتی (حذف نویز) آموزش می‌بیند، ExT5 از یک هدف آموزشی ترکیبی بهره می‌برد:
  1. هدف خودنظارتی: همانند T5، بخشی از متن ورودی به صورت تصادفی حذف شده و مدل باید بخش‌های حذف‌شده را بازسازی کند. این کار به مدل کمک می‌کند تا درک عمیقی از ساختار و روابط معنایی در زبان پیدا کند.
  2. هدف نظارتی: به طور همزمان، مدل بر روی تمام ۱۰۷ وظیفه موجود در ExMix آموزش می‌بیند. تمامی این وظایف در قالب یکپارچه «متن به متن» قرار می‌گیرند. برای مثال، یک ورودی برای تحلیل احساسات ممکن است به این شکل باشد: "sentiment: This movie was fantastic!" و خروجی مورد انتظار "positive" خواهد بود.

  این رویکرد ترکیبی به مدل اجازه می‌دهد تا هم دانش عمومی زبان را از داده‌های بدون برچسب استخراج کند و هم مهارت‌های تخصصی حل مسئله را از داده‌های با برچسب بیاموزد.

• ارزیابی جامع: برای سنجش عملکرد ExT5، نویسندگان آن را با یک مدل پایه T5 که برای همان تعداد گام محاسباتی آموزش دیده، مقایسه کرده‌اند. این مقایسه بر روی طیف گسترده‌ای از بنچمارک‌های استاندارد انجام شده است تا قابلیت‌های مختلف مدل، از درک مطلب گرفته تا تولید متن و استدلال، به چالش کشیده شود.

این مقاله به چندین یافته مهم و تأثیرگذار دست یافته است که در ادامه به مهم‌ترین آن‌ها اشاره می‌شود:

• مقیاس‌دهی وظایف به شدت مؤثر است: مهم‌ترین نتیجه تحقیق این است که افزایش تعداد وظایف نظارتی در مرحله پیش‌آموزش، یک استراتژی بسیار کارآمد برای بهبود عملکرد مدل است. ExT5 به طور مداوم از مدل پایه T5 در اکثر وظایف ارزیابی بهتر عمل می‌کند، که نشان می‌دهد یادگیری همزمان از منابع دانش متنوع، به تعمیم‌پذیری بهتر منجر می‌شود.
• انتقال دانش بین وظایف، پیچیده و غیرقابل پیش‌بینی است: تحلیل‌ها نشان داد که تعامل بین وظایف مختلف همیشه شهودی نیست. برای مثال، آموزش بر روی وظایف تولید متن (مانند خلاصه‌سازی) می‌تواند به طرز شگفت‌آوری عملکرد مدل را در وظایف درک مطلب (مانند طبقه‌بندی) بهبود بخشد. این یافته این ایده را تقویت می‌کند که به جای تلاش برای انتخاب دستی و مهندسی‌شده مجموعه‌ای کوچک از وظایف، یک رویکرد ساده‌تر و مؤثرتر، افزودن هرچه بیشتر وظایف متنوع است.
• بهبود چشمگیر در بهره‌وری نمونه (sample efficiency): یکی از دستاوردهای عملی ExT5، کارایی بالاتر آن در فرآیند آموزش است. این مدل با صرف همان میزان منابع محاسباتی و دیدن همان تعداد نمونه، به عملکردی بالاتر از مدل پایه دست می‌یابد. این بدان معناست که پیش‌آموزش چندوظیفه‌ای در مقیاس بزرگ، راهی برای دستیابی به مدل‌های بهتر در زمان و هزینه کمتر است.
• قابلیت تعمیم به وظایف دیده‌نشده: ExT5 نه تنها در وظایفی که در مجموعه ExMix حضور داشتند عملکرد خوبی از خود نشان داد، بلکه در وظایف کاملاً جدید که در طول پیش‌آموزش با آن‌ها مواجه نشده بود نیز برتری خود را به اثبات رساند. این امر نشان‌دهنده توانایی بالای مدل در یادگیری اصول بنیادین حل مسئله و انتقال آن‌ها به دامنه‌های جدید است.

موفقیت ExT5 پیامدهای مهمی برای آینده پژوهش و کاربردهای عملی NLP دارد:

• ساخت مدل‌های پایه قدرتمندتر: ExT5 یک مدل پایه (Foundation Model) بسیار تواناست که می‌توان آن را برای طیف وسیعی از کاربردهای خاص، از چت‌بات‌های هوشمند و دستیاران مجازی گرفته تا سیستم‌های تحلیل اسناد و ابزارهای خلاصه‌ساز، با نیاز به داده‌های کمتر و دستیابی به دقت بالاتر، تنظیم دقیق کرد.
• دموکراتیزه کردن دسترسی به مدل‌های پیشرفته: با افزایش بهره‌وری آموزش، رویکردهایی مانند ExT5 می‌توانند هزینه ساخت مدل‌های زبانی پیشرفته را کاهش داده و امکان توسعه آن‌ها را برای گروه‌های تحقیقاتی و شرکت‌های کوچکتر فراهم کنند.
• ارائه یک منبع ارزشمند برای جامعه علمی: مجموعه داده ExMix خود یک دستاورد مهم است و به عنوان یک بستر استاندارد برای تحقیقات آینده در زمینه یادگیری چندوظیفه‌ای و یادگیری انتقالی در مقیاس بزرگ عمل خواهد کرد.
• تغییر پارادایم در پیش‌آموزش: این مقاله به طور قانع‌کننده‌ای نشان می‌دهد که آینده پیش‌آموزش مدل‌های زبانی احتمالاً در ترکیبی هوشمندانه از یادگیری خودنظارتی روی داده‌های خام و یادگیری نظارتی بر روی مجموعه‌ای عظیم و متنوع از وظایف نهفته است.

مقاله ExT5 یک گام مهم رو به جلو در درک ما از نحوه ساخت مدل‌های زبانی هوشمندتر و کارآمدتر است. این تحقیق با تمرکز بر مقیاس‌دهی تعداد وظایف به جای صرفاً اندازه مدل، مسیری جدید و امیدوارکننده را برای پیشرفت حوزه پردازش زبان طبیعی ترسیم می‌کند. یافته‌ها به وضوح نشان می‌دهند که آموزش یک مدل بر روی مجموعه‌ای بسیار بزرگ و متنوع از وظایف نظارتی، نه تنها امکان‌پذیر است، بلکه به طور قابل توجهی به بهبود عملکرد، بهره‌وری و قابلیت تعمیم‌پذیری مدل منجر می‌شود.

ExT5 ثابت می‌کند که برای ساختن مدل‌های بهتر، لزوماً نباید فقط به دنبال ساخت مدل‌های بزرگتر باشیم؛ بلکه باید به دنبال روش‌های هوشمندانه‌تر و غنی‌تری برای آموزش آن‌ها باشیم. رویکرد چندوظیفه‌ای حداکثری، یک استراتژی قدرتمند در این راستا است که بدون شک الهام‌بخش تحقیقات و نوآوری‌های فراوانی در سال‌های آینده خواهد بود.