در سال‌های اخیر، مدل‌های زبانی پیش‌آموخته (Pre-trained Language Models – PLMs) مانند BERT انقلابی در حوزه پردازش زبان طبیعی (NLP) ایجاد کرده‌اند. این مدل‌ها با یادگیری از حجم عظیمی از داده‌های متنی، توانایی بی‌نظیری در درک زمینه‌ و معنای کلمات به دست آورده‌اند. با این حال، یکی از محدودیت‌های اصلی آن‌ها، عدم دسترسی به دانش ساختاریافته و واقعی جهان است. برای رفع این نقیصه، نسل جدیدی از مدل‌ها با عنوان مدل‌های زبانی پیش‌آموخته تقویت‌شده با دانش (KEPLMs) ظهور کردند که دانش را از منابعی مانند گراف‌های دانش (Knowledge Graphs) به معماری خود تزریق می‌کنند.

این مقاله با عنوان «بازنگری و ارتقای درک زبان طبیعی چینی با پیش‌آموزش تسریع‌یافته دانش ناهمگن» به یک چالش مهم در جامعه NLP می‌پردازد: کمبود مدل‌های KEPLM قدرتمند و متن‌باز برای زبان چینی. در حالی که مدل‌های مشابه برای زبان انگلیسی به وفور یافت می‌شوند، زبان چینی به دلیل پیچیدگی‌های ساختاری و فرهنگی خود، نیازمند مدل‌های تخصصی است. این مقاله با معرفی خانواده‌ای از مدل‌ها به نام CKBERT (مخفف Chinese Knowledge-Enhanced BERT)، این شکاف را پر کرده و راه را برای توسعه کاربردهای هوشمندتر و دقیق‌تر در زبان چینی هموار می‌سازد.

این مقاله حاصل تلاش گروهی از پژوهشگران برجسته به نام‌های تائولین ژانگ، جونوی دونگ، جیانینگ وانگ، چنگیو وانگ، آنگ وانگ، یینگ‌هویی لیو، جون هوانگ، یونگ لی و شیائوفنگ هی است. این تحقیق در حوزه محاسبات و زبان‌شناسی (Computation and Language) دسته‌بندی می‌شود که نشان‌دهنده ماهیت میان‌رشته‌ای آن در تلاقی علوم کامپیوتر، هوش مصنوعی و زبان‌شناسی است. تخصص این تیم در طراحی و آموزش مدل‌های زبانی بزرگ، نقطه قوت اصلی این پژوهش به شمار می‌رود.

مقاله حاضر به معرفی و ارزیابی یک سری مدل جدید برای زبان چینی به نام CKBERT می‌پردازد. هدف اصلی این مدل‌ها، بهبود درک متون چینی از طریق تزریق دانش ناهمگن (Heterogeneous Knowledge) است. این دانش از دو منبع اصلی تأمین می‌شود: دانش رابطه‌ای که از گراف‌های دانش استخراج می‌شود و شامل حقایق و روابط بین موجودیت‌هاست، و دانش زبانی که از تحلیل‌های نحوی و ساختاری جملات به دست می‌آید.

برای دستیابی به این هدف، نویسندگان دو وظیفه پیش‌آموزش کاملاً جدید را ابداع کرده‌اند:

• مدل‌سازی زبان ماسک‌شده آگاه از زبان‌شناسی (Linguistic-aware Masked Language Modeling): این وظیفه به مدل کمک می‌کند تا علاوه بر کلمات، ساختار دستوری و نحوی جملات را نیز بیاموزد.
• مدل‌سازی تضادگرایانه روابط چندمرحله‌ای (Contrastive Multi-hop Relation Modeling): این مکانیزم به مدل قدرت استنتاج و برقراری ارتباط بین مفاهیمی را می‌دهد که به طور غیرمستقیم در یک گراف دانش به هم متصل هستند.

یکی دیگر از دستاوردهای کلیدی این مقاله، جنبه عملیاتی آن است. محققان با استفاده از یک شتاب‌دهنده نرم‌افزاری داخلی به نام TorchAccelerator، موفق به آموزش کارآمد نسخه‌های مختلف CKBERT در مقیاس‌های متفاوت (پایه با ۱۱۰ میلیون، بزرگ با ۳۴۵ میلیون و عظیم با ۱.۳ میلیارد پارامتر) بر روی خوشه‌های پردازنده گرافیکی (GPU) شده‌اند. نتایج آزمایش‌ها نشان می‌دهد که CKBERT در اندازه‌های مختلف، عملکردی بهتر از قوی‌ترین مدل‌های پایه موجود برای زبان چینی در طیف وسیعی از وظایف NLP ارائه می‌دهد.

اساس نوآوری CKBERT در روش منحصربه‌فرد آن برای ترکیب دانش ساختاریافته با معماری مدل‌های ترنسفورمر نهفته است. این رویکرد بر پایه دو نوع دانش و دو وظیفه پیش‌آموزش جدید بنا شده است.

تزریق دانش ناهمگن

در این تحقیق، “دانش ناهمگن” به دو دسته اصلی تقسیم می‌شود:

• دانش زبانی (Linguistic Knowledge): این دانش شامل اطلاعات ساختاری جمله مانند برچسب‌های اجزای کلام (Part-of-Speech) و روابط وابستگی (Dependency Relations) است. برای مثال، مدل می‌آموزد که کدام کلمه فاعل، فعل یا مفعول است و چگونه کلمات به یکدیگر وابسته‌اند. این دانش به مدل کمک می‌کند تا از سطح درک کلمات فراتر رفته و ساختار گرامری جملات را عمیقاً درک کند.
• دانش رابطه‌ای (Relational Knowledge): این دانش از گراف‌های دانش استخراج می‌شود که مجموعه‌ای از حقایق جهان را به صورت سه‌تایی‌های (موجودیت ۱، رابطه، موجودیت ۲) ذخیره می‌کنند؛ برای مثال (پکن، پایتخت است، چین). این اطلاعات به مدل اجازه می‌دهد تا روابط واقعی بین موجودیت‌های نام‌برده‌شده در متن را بفهمد.

وظایف پیش‌آموزش نوین

برای تزریق موثر این دانش‌ها، دو وظیفه پیش‌آموزش خلاقانه طراحی شده است:

۱. مدل‌سازی زبان ماسک‌شده آگاه از زبان‌شناسی (LMLM): در مدل‌سازی زبان ماسک‌شده (MLM) استاندارد که در BERT استفاده می‌شود، مدل باید کلمات ماسک‌گذاری‌شده را پیش‌بینی کند. در LMLM، این فرآیند هوشمندتر می‌شود. به جای ماسک کردن تصادفی، کلماتی ماسک می‌شوند که از نظر زبانی اهمیت بیشتری دارند. علاوه بر این، مدل هنگام پیش‌بینی، به اطلاعات زبانی (مانند نقش دستوری کلمه) به عنوان راهنما دسترسی دارد. این امر مدل را وادار می‌کند تا الگوهای نحوی و گرامری زبان چینی را بهتر بیاموزد.

۲. مدل‌سازی تضادگرایانه روابط چندمرحله‌ای (CMRM): این وظیفه برای آموزش استدلال بر روی گراف دانش طراحی شده است. “روابط چندمرحله‌ای” به معنای یافتن ارتباط بین دو موجودیت است که مستقیماً به هم متصل نیستند، بلکه از طریق یک یا چند موجودیت واسطه به هم می‌رسند. در این روش، به مدل یک مسیر صحیح (مثبت) در گراف دانش و چندین مسیر نادرست (منفی) داده می‌شود. سپس مدل با استفاده از یادگیری تضادگرایانه (Contrastive Learning) آموزش می‌بیند تا مسیر صحیح را از مسیرهای غلط تشخیص دهد. این فرآیند، توانایی استنتاج و درک روابط پیچیده و غیرمستقیم را در مدل تقویت می‌کند.

آموزش تسریع‌یافته و مقیاس‌پذیر

آموزش مدل‌هایی با صدها میلیون یا میلیاردها پارامتر، یک چالش محاسباتی بزرگ است. تیم تحقیق با توسعه ابزار TorchAccelerator، توانستند فرآیند پیش‌آموزش را بهینه‌سازی کرده و سرعت آن را به میزان قابل توجهی افزایش دهند. این بهینه‌سازی به آن‌ها اجازه داد تا سه نسخه از CKBERT را منتشر کنند: base (پایه)، large (بزرگ) و huge (عظیم). این تنوع، استفاده از مدل را برای محققان و شرکت‌هایی با منابع محاسباتی متفاوت امکان‌پذیر می‌سازد.

اثربخشی CKBERT از طریق آزمایش‌های گسترده بر روی مجموعه‌ای از بنچمارک‌های استاندارد زبان چینی به اثبات رسیده است. یافته‌های اصلی این ارزیابی‌ها به شرح زیر است:

• عملکرد برتر نسبت به رقبا: در تمام وظایف ارزیابی‌شده، مدل‌های CKBERT به طور مداوم از مدل‌های پایه قدرتمند چینی مانند ERNIE-Baidu، ZEN و MacBERT بهتر عمل کردند. این برتری در وظایفی که نیازمند درک عمیق دانش و استدلال هستند، مشهودتر بود.
• موفقیت در وظایف متنوع NLP: CKBERT توانایی خود را در طیف گسترده‌ای از کاربردها نشان داد، از جمله:
  • شناسایی موجودیت‌های نام‌دار (NER): تشخیص دقیق اسامی افراد، سازمان‌ها و مکان‌ها.
  • طبقه‌بندی متون (Text Classification): دسته‌بندی اسناد بر اساس موضوع یا محتوا.
  • تحلیل احساسات (Sentiment Analysis): تعیین بار احساسی (مثبت، منفی، خنثی) در متون.
  • درک مطلب ماشینی (Machine Reading Comprehension): پاسخ به سوالات بر اساس یک متن داده‌شده.
• مقیاس‌پذیری و ثبات عملکرد: یکی از مهم‌ترین یافته‌ها این بود که مزیت عملکردی CKBERT در تمام اندازه‌های مدل (پایه، بزرگ و عظیم) حفظ می‌شود. این موضوع نشان می‌دهد که روش‌های پیش‌آموزش LMLM و CMRM به طور بنیادی مؤثر بوده و با افزایش ظرفیت مدل، اثربخشی آن‌ها نیز افزایش می‌یابد.
• اهمیت هر دو نوع دانش: از طریق تحلیل‌های Ablation، نویسندگان نشان دادند که هر دو وظیفه LMLM و CMRM به صورت جداگانه در بهبود عملکرد نهایی نقش داشته‌اند. این یافته اثبات می‌کند که ترکیب دانش زبانی و دانش رابطه‌ای، یک استراتژی قدرتمند برای ساخت مدل‌های زبانی هوشمندتر است.

انتشار مدل‌های CKBERT پیامدهای عملی و علمی قابل توجهی برای جامعه پردازش زبان طبیعی، به ویژه برای زبان چینی، به همراه دارد.

کاربردهای عملی

مدل‌های CKBERT می‌توانند در طیف وسیعی از محصولات و خدمات هوشمند به کار گرفته شوند:

• موتورهای جستجوی پیشرفته: موتورهای جستجو می‌توانند با درک روابط بین موجودیت‌ها، نتایج دقیق‌تر و مرتبط‌تری را به کاربران ارائه دهند.
• دستیاران مجازی و چت‌بات‌ها: این سیستم‌ها قادر خواهند بود مکالمات طبیعی‌تر و آگاهانه‌تری داشته باشند و به سوالات مبتنی بر حقایق جهان پاسخ دهند.
• تحلیل داده‌های کسب‌وکار: شرکت‌ها می‌توانند از این مدل‌ها برای تحلیل نظرات مشتریان، روندهای بازار و گزارش‌های مالی در بازار چین با دقت بسیار بالاتری استفاده کنند.
• سیستم‌های توصیه‌گر هوشمند: با درک عمیق‌تر محتوا و روابط، این سیستم‌ها می‌توانند محصولات، مقالات یا خدمات مرتبط‌تری را به کاربران پیشنهاد دهند.

دستاوردها و نوآوری‌ها

این مقاله چندین دستاورد کلیدی را به ثبت رسانده است:

• پر کردن یک شکاف مهم: ارائه یک خانواده مدل متن‌باز (open-source) و با کارایی بالا برای زبان چینی که پیش از این جای خالی آن به شدت احساس می‌شد.
• ابداع روش‌های نوین پیش‌آموزش: معرفی وظایف LMLM و CMRM به عنوان روش‌هایی کارآمد برای تزریق دانش ناهمگن به مدل‌های زبانی.
• نمایش کارایی در مقیاس بزرگ: اثبات اینکه می‌توان مدل‌های بسیار بزرگ (بیش از یک میلیارد پارامتر) را به صورت کارآمد و موثر با استفاده از ابزارهای شتاب‌دهنده مانند TorchAccelerator آموزش داد.
• ایجاد یک زیرساخت قوی: این مدل‌ها به عنوان یک پایه قدرتمند برای تحقیقات و توسعه‌های آتی در زمینه درک زبان طبیعی چینی عمل خواهند کرد.

مقاله “بازنگری و ارتقای درک زبان طبیعی چینی” با معرفی خانواده مدل‌های CKBERT، گامی بزرگ در جهت پیشرفت هوش مصنوعی برای زبان چینی برداشته است. این پژوهش نشان می‌دهد که ترکیب هوشمندانه دانش زبانی (ساختار گرامری) و دانش رابطه‌ای (حقایق جهان) می‌تواند به طور چشمگیری توانایی مدل‌های زبانی را در درک عمیق متون افزایش دهد. نوآوری در وظایف پیش‌آموزش و کارایی در فرآیند آموزش، CKBERT را به یک ابزار ارزشمند و کاربردی برای محققان و توسعه‌دهندگان تبدیل کرده است. با ارائه متن‌باز این مدل‌ها در اندازه‌های مختلف، نویسندگان نه تنها یک دستاورد علمی برجسته را به نمایش گذاشته‌اند، بلکه به رشد و توسعه اکوسیستم NLP در سطح جهانی نیز کمک شایانی کرده‌اند.