در سال‌های اخیر، حوزه پردازش زبان طبیعی (NLP) شاهد پیشرفت‌های چشمگیری بوده است، به‌ویژه با ظهور مدل‌های زبانی بزرگ (LLMs) که توانایی‌های خارق‌العاده‌ای در درک و تولید زبان انسان از خود نشان داده‌اند. با این حال، دستیابی به «هوش زبان همه‌منظوره» (General-Purpose Language Intelligence) همچنان یک هدف بلندمدت و چالش‌برانگیز است. یکی از ارکان اصلی برای حرکت به سوی این هدف، وجود معیارهای ارزیابی استاندارد، جامع و نظام‌مند است. این معیارها نه‌تنها امکان مقایسه عادلانه مدل‌های مختلف را فراهم می‌کنند، بلکه به‌عنوان یک راهنما، مسیر تحقیقات آینده را نیز مشخص می‌سازند.

مقاله «CUGE: یک معیار ارزیابی درک و تولید زبان چینی» که توسط گروه بزرگی از محققان برجسته ارائه شده، تلاشی مهم برای پاسخ به این نیاز در اکوسیستم زبان چینی است. زبان چینی با پیچیدگی‌های منحصربه‌فرد خود، نیازمند ابزارهای ارزیابی تخصصی است که فراتر از ترجمه صرف معیارهای انگلیسی‌محور عمل کنند. اهمیت CUGE در این است که صرفاً مجموعه‌ای از وظایف (Tasks) نیست، بلکه یک چارچوب ارزیابی نظام‌مند و سلسله‌مراتبی را معرفی می‌کند که به محققان اجازه می‌دهد تا توانایی‌های مدل‌های زبانی را در سطوح مختلف، از دانش زبانی پایه تا استدلال پیچیده، به‌طور دقیق‌تری بسنجند. این مقاله یک گام اساسی در جهت استانداردسازی و هدایت پژوهش‌ها در زمینه هوش مصنوعی برای یکی از بزرگترین جوامع زبانی جهان محسوب می‌شود.

این مقاله حاصل همکاری گسترده تیمی متشکل از ده‌ها پژوهشگر از جمله Yuan Yao، Qingxiu Dong، Jian Guan و همکارانشان است. این تیم بزرگ نشان‌دهنده یک پروژه عظیم و استراتژیک است که به احتمال زیاد توسط مؤسسات پیشرو در زمینه هوش مصنوعی در چین، مانند آکادمی هوش مصنوعی پکن (BAAI)، پشتیبانی می‌شود. زمینه تحقیق این مقاله، ارزیابی مدل‌های زبانی از پیش آموزش‌دیده (Pre-trained Language Models) است.

پس از موفقیت مدل‌هایی مانند BERT و GPT، جامعه علمی به سرعت معیارهایی مانند GLUE و SuperGLUE را برای ارزیابی و مقایسه این مدل‌ها در زبان انگلیسی توسعه داد. این معیارها نقشی حیاتی در پیشبرد این حوزه ایفا کردند. با این حال، شکاف قابل توجهی برای زبان‌های دیگر، به‌ویژه زبان چینی، وجود داشت. CUGE در چنین فضایی متولد شد تا این خلأ را پر کرده و یک استاندارد طلایی برای ارزیابی مدل‌های زبان چینی ارائه دهد که هم جامعیت داشته باشد و هم ساختاری منظم برای تحلیل عمیق‌تر عملکرد مدل‌ها فراهم آورد.

هدف اصلی مقاله، معرفی CUGE (Chinese Language Understanding and Generation Evaluation)، یک معیار جامع برای ارزیابی توانایی‌های درک و تولید زبان چینی در مدل‌های هوش مصنوعی است. نویسندگان استدلال می‌کنند که برای سنجش هوش زبان همه‌منظوره، خودِ معیار ارزیابی باید جامع و نظام‌مند باشد. بر این اساس، CUGE با دو ویژگی کلیدی طراحی شده است:

• چارچوب معیار سلسله‌مراتبی: مجموعه داده‌ها و وظایف در یک ساختار هرمی سه‌سطحی سازماندهی شده‌اند: توانایی (Capability)، وظیفه (Task) و مجموعه داده (Dataset). این ساختار به جای یک لیست پراکنده از وظایف، یک دیدگاه سازمان‌یافته از قابلیت‌های زبانی ارائه می‌دهد.
• استراتژی امتیازدهی چندسطحی: بر اساس چارچوب سلسله‌مراتبی، عملکرد مدل‌ها در سطوح مختلف گزارش می‌شود. این امر به محققان امکان می‌دهد تا نقاط قوت و ضعف مدل را با دقت بیشتری شناسایی کنند؛ برای مثال، آیا یک مدل در یک مجموعه داده خاص ضعیف است یا در یک توانایی بنیادی مانند استدلال منطقی مشکل دارد.

برای تسهیل استفاده از این معیار، نویسندگان یک تابلوی امتیازات عمومی (Public Leaderboard) را نیز فراهم کرده‌اند که امکان سفارشی‌سازی معیارهای قضاوت را به کاربران می‌دهد. نتایج اولیه ارزیابی مدل‌های مطرح نشان می‌دهد که هنوز فاصله قابل توجهی تا دستیابی به هوش زبان همه‌منظوره وجود دارد و فضای زیادی برای بهبود باقی است.

نوآوری اصلی CUGE در روش‌شناسی ساختاریافته آن نهفته است. این معیار صرفاً مجموعه‌ای از دیتاست‌ها نیست، بلکه یک اکوسیستم ارزیابی هوشمند است.

چارچوب سلسله‌مراتبی (Hierarchical Framework)

این چارچوب، قلب تپنده CUGE است و ارزیابی را از یک فرآیند سطحی به یک تحلیل عمیق تبدیل می‌کند. ساختار آن به شرح زیر است:

• سطح ۱: توانایی (Capability): این بالاترین سطح انتزاع است و به قابلیت‌های شناختی بنیادین زبان اشاره دارد. نمونه‌هایی از این توانایی‌ها عبارتند از:
  • دانش زبانی (Linguistic Knowledge)
  • استدلال (Reasoning)
  • درک مطلب (Reading Comprehension)
  • تولید زبان (Language Generation)
• سطح ۲: وظیفه (Task): هر توانایی به یک یا چند وظیفه مشخص تقسیم می‌شود که آن توانایی را می‌سنجد. برای مثال، توانایی «استدلال» می‌تواند شامل وظایفی مانند «استنتاج زبان طبیعی» (NLI) یا «پاسخ به پرسش‌های چندگزینه‌ای» باشد.
• سطح ۳: مجموعه داده (Dataset): هر وظیفه از طریق یک یا چند مجموعه داده استاندارد ارزیابی می‌شود. اینها داده‌های واقعی هستند که مدل‌ها بر روی آنها آزموده می‌شوند.

این ساختار به پژوهشگران اجازه می‌دهد تا عملکرد یک مدل را به صورت موشکافانه تحلیل کنند. برای مثال، اگر مدلی در وظیفه NLI امتیاز پایینی کسب کند، می‌توان نتیجه گرفت که در توانایی «استدلال» ضعف دارد.

استراتژی امتیازدهی چندسطحی (Multi-level Scoring)

برخلاف معیارهای سنتی که اغلب یک امتیاز نهایی ارائه می‌دهند، CUGE از امتیازدهی چندسطحی بهره می‌برد. یک مدل علاوه بر امتیازات فردی برای هر مجموعه داده، امتیازات تجمیعی برای هر وظیفه و هر توانایی نیز دریافت می‌کند. این گزارش دقیق، تصویری جامع و شفاف از پروفایل عملکردی مدل ارائه می‌دهد و به جای تمرکز بر یک عدد واحد، درک عمیق‌تری از قابلیت‌های آن فراهم می‌آورد. تابلوی امتیازات عمومی CUGE نیز به کاربران اجازه می‌دهد تا وزن‌های مختلفی به توانایی‌ها یا وظایف اختصاص دهند و مدل‌ها را بر اساس معیارهای دلخواه خود رتبه‌بندی کنند.

یکی از مهم‌ترین بخش‌های مقاله، ارائه نتایج ارزیابی مدل‌های زبانی پیشرفته چینی بر روی معیار CUGE است. نویسندگان تعدادی از مدل‌های برجسته را انتخاب کرده و عملکرد آنها را در چارچوب جدید خود سنجیده‌اند. یافته‌های اصلی به شرح زیر است:

• هیچ مدلی برتری مطلق ندارد: نتایج نشان داد که هیچ یک از مدل‌های موجود نمی‌توانند در تمام توانایی‌ها و وظایف تعریف‌شده در CUGE عملکرد عالی داشته باشند. برخی مدل‌ها در وظایف درک مطلب قوی‌تر بودند، در حالی که برخی دیگر در تولید زبان یا استدلال عملکرد بهتری داشتند.
• فضای قابل توجه برای بهبود: یافته کلیدی و مهم این بود که حتی بهترین مدل‌ها نیز در بسیاری از وظایف پیچیده، به‌ویژه آنهایی که نیازمند استدلال چندمرحله‌ای یا درک عمیق از زمینه هستند، با چالش مواجه می‌شوند. این یافته تأیید می‌کند که علی‌رغم پیشرفت‌های اخیر، ما هنوز فاصله زیادی تا دستیابی به هوش زبان عمومی داریم.
• اعتبارسنجی CUGE به عنوان یک معیار چالش‌برانگیز: نتایج نشان داد که CUGE با موفقیت می‌تواند نقاط ضعف مدل‌های فعلی را آشکار سازد. این معیار یک استاندارد جدید و بالاتر برای جامعه NLP چین تعیین می‌کند و مدل‌های آینده را به چالش می‌کشد تا توانایی‌های جامع‌تر و قوی‌تری را توسعه دهند.

CUGE فراتر از یک مقاله پژوهشی، یک ابزار عملی و یک دستاورد مهم برای جامعه علمی و صنعتی است. کاربردهای اصلی آن عبارتند از:

• راهنمایی برای تحقیقات آینده: با مشخص کردن نقاط ضعف مدل‌های فعلی، CUGE به محققان سرنخ‌هایی برای پژوهش‌های آتی می‌دهد. حوزه‌هایی مانند استدلال پیچیده و دانش عمومی به عنوان زمینه‌هایی که نیاز به کار بیشتری دارند، برجسته می‌شوند.
• ابزار استاندارد برای مقایسه مدل‌ها: CUGE یک بستر مشترک و قابل اعتماد برای مقایسه عادلانه مدل‌های جدید فراهم می‌کند. این امر به افزایش شفافیت و قابلیت تکرارپذیری در تحقیقات کمک شایانی می‌کند.
• کمک به توسعه‌دهندگان در صنعت: شرکت‌ها و توسعه‌دهندگان می‌توانند از CUGE برای انتخاب بهترین مدل برای کاربردهای خاص خود استفاده کنند. برای مثال، اگر یک برنامه به توانایی بالایی در خلاصه‌سازی متن نیاز دارد، می‌توان عملکرد مدل‌ها را در وظایف مربوط به «تولید زبان» در CUGE بررسی کرد.
• ایجاد یک اکوسیستم ارزیابی پویا: با ارائه یک تابلوی امتیازات عمومی و پویا، CUGE رقابت سالم را تشویق کرده و به یک مرجع زنده برای سنجش پیشرفت در حوزه NLP چینی تبدیل می‌شود.

بزرگترین دستاورد این پروژه، ایجاد یک معیار ارزیابی ساختاریافته و مفهومی است که از جمع‌آوری صرف داده‌ها فراتر رفته و به تحلیل عمیق قابلیت‌های شناختی مدل‌ها می‌پردازد.

مقاله CUGE یک گام بزرگ و تأثیرگذار در حوزه پردازش زبان طبیعی، به ویژه برای زبان چینی، به شمار می‌آید. این مقاله با معرفی یک چارچوب ارزیابی سلسله‌مراتبی و یک استراتژی امتیازدهی چندسطحی، راهکاری نوآورانه برای یکی از بزرگترین چالش‌های این حوزه، یعنی ارزیابی معنادار و جامع مدل‌های زبانی، ارائه می‌دهد.

CUGE نه تنها یک ابزار آزمون، بلکه یک ابزار تشخیصی و یک نقشه راه برای آینده است. این معیار به جامعه علمی کمک می‌کند تا از تمرکز بر بهینه‌سازی امتیازات در وظایف منفرد فاصله گرفته و به سمت توسعه مدل‌هایی با هوش زبانی عمومی‌تر و قوی‌تر حرکت کنند. با توجه به اهمیت روزافزون هوش مصنوعی و زبان چینی در صحنه جهانی، انتظار می‌رود که CUGE تأثیری پایدار بر مسیر تحقیقات و توسعه مدل‌های زبانی داشته باشد و الهام‌بخش ایجاد معیارهای مشابه برای سایر زبان‌ها نیز گردد.