در دنیای پردازش زبان طبیعی (NLP)، «تجزیه نحوی» (Syntactic Parsing) یکی از وظایف بنیادی است که به درک ساختار گرامری جملات می‌پردازد. این فرآیند، شبیه به ترسیم نمودار درختی برای یک جمله در دوران مدرسه، روابط بین کلمات را مشخص می‌کند و زیربنای بسیاری از کاربردهای پیشرفته‌تر مانند ترجمه ماشینی، خلاصه‌سازی متن و سیستم‌های پرسش و پاسخ است. با ظهور مدل‌های زبانی عظیم پیش‌آموزش‌دیده (Pretrained Language Models – PLMs) مانند BERT و XLM-R، توانایی سیستم‌ها برای درک زبان به شکل چشمگیری افزایش یافته است. با این حال، یک چالش همیشگی، به‌ویژه برای زبان‌های کم‌منبع (Low-Resource Languages)، کمبود داده‌های آموزشی باکیفیت است.

مقاله “Parsing with Pretrained Language Models, Multiple Datasets, and Dataset Embeddings” به این چالش اساسی می‌پردازد. اهمیت این مقاله در آن است که یک تکنیک نسبتاً قدیمی‌تر به نام «جاسازی مجموعه‌داده» (Dataset Embedding) را در پارادایم مدرن مدل‌های ترنسفورمر بازآزمایی می‌کند. ایده اصلی این است: آیا می‌توانیم با آموزش یک مدل واحد بر روی مجموعه‌داده‌های مختلف (از زبان‌ها، دامنه‌ها یا سبک‌های حاشیه‌نویسی متفاوت) عملکرد آن را، به‌ویژه برای داده‌های محدود، بهبود بخشیم؟ این پژوهش نشان می‌دهد که پاسخ مثبت است و راهکاری عملی برای استفاده بهینه از تمام داده‌های موجود ارائه می‌دهد.

این مقاله توسط راب فان در گوت (Rob van der Goot) و میریام دو لونُکس (Miryam de Lhoneux)، دو پژوهشگر فعال در حوزه زبان‌شناسی محاسباتی و پردازش زبان طبیعی چندزبانه، به نگارش درآمده است. تحقیقات این نویسندگان اغلب بر روی بهبود مدل‌های NLP برای زبان‌های گوناگون، به‌ویژه زبان‌های کم‌منبع، و توسعه روش‌هایی برای یادگیری انتقالی (Transfer Learning) مؤثر متمرکز است.

زمینه این تحقیق در تلاقی سه حوزه کلیدی قرار دارد:

• تجزیه وابستگی (Dependency Parsing): مدلی از تجزیه نحوی که روابط سلسله‌مراتبی (مانند فاعل، مفعول، صفت) بین کلمات را به‌صورت یک گراف جهت‌دار نشان می‌دهد.
• مدل‌های ترنسفورمر چندزبانه: مدل‌هایی که بر روی ده‌ها یا صدها زبان آموزش دیده‌اند و قادرند دانش زبانی را بین زبان‌های مختلف به اشتراک بگذارند.
• یادگیری چندوظیفه‌ای و چنددامنه‌ای (Multi-Task & Multi-Domain Learning): رویکردی که در آن یک مدل برای یادگیری همزمان از منابع داده متنوع آموزش داده می‌شود تا به تعمیم‌پذیری و کارایی بهتری دست یابد.

این مقاله در واقع به این پرسش پاسخ می‌دهد که چگونه می‌توانیم از انبوه مجموعه‌داده‌های موجود (که اغلب ناهماهنگ هستند) برای ساختن یک تجزیه‌گر نحوی قوی‌تر و جامع‌تر استفاده کنیم.

با افزایش روزافزون دسترسی به مجموعه‌داده‌های زبانی، پتانسیل یادگیری از منابع داده متنوع بیش از هر زمان دیگری فراهم شده است. یکی از روش‌های مؤثر برای بهره‌برداری از این منابع، استفاده از «جاسازی مجموعه‌داده» در حین آموزش مدل است. این تکنیک به مدل اجازه می‌دهد تا هم ویژگی‌های قابل تعمیم در میان تمام داده‌ها را بیاموزد و هم خصوصیات متمایزکننده هر مجموعه‌داده را تشخیص دهد. با این حال، این روش بیشتر قبل از ظهور مدل‌های عظیم مبتنی بر ترنسفورمر در حوزه NLP به کار گرفته می‌شد.

در این مقاله، نویسندگان دو روش مختلف برای به کارگیری جاسازی مجموعه‌داده در یک تجزیه‌گر وابستگی چندزبانه مبتنی بر ترنسفورمر را مقایسه کرده و یک ارزیابی جامع انجام می‌دهند. هدف اصلی، بررسی اثربخشی این تکنیک در کنار مدل‌های قدرتمند امروزی است. این مقاله نشان می‌دهد که جاسازی مجموعه‌داده‌ها همچنان یک استراتژی بسیار مفید است و می‌تواند عملکرد تجزیه‌گرها را به طور قابل توجهی بهبود بخشد.

برای پاسخ به سوالات تحقیق، نویسندگان یک چارچوب آزمایشی دقیق طراحی کردند. اجزای اصلی روش‌شناسی آن‌ها به شرح زیر است:

• مدل پایه (Baseline Model): آن‌ها از یک تجزیه‌گر وابستگی استاندارد مبتنی بر معماری ترنسفورمر استفاده کردند. این مدل بر پایه یک مدل زبانی پیش‌آموزش‌دیده چندزبانه (مانند mBERT یا XLM-R) ساخته شده است که ورودی‌های متنی را به بردارهای عددی (جاسازی‌ها) تبدیل می‌کند. سپس یک یا چند لایه طبقه‌بندی‌کننده (Classifier) بر روی این بردارها، روابط وابستگی بین کلمات را پیش‌بینی می‌کنند.
• تکنیک جاسازی مجموعه‌داده: ایده اصلی این است که به هر مجموعه‌داده یک بردار عددی منحصر به فرد (یک embedding) اختصاص دهیم. این بردار در طول آموزش، همراه با سایر پارامترهای مدل، یاد گرفته می‌شود. این بردار به مدل «می‌گوید» که نمونه ورودی فعلی از کدام منبع داده آمده است. نویسندگان دو روش برای تزریق این اطلاعات به مدل را مقایسه کردند:
  1. تزریق در سطح رمزگذار (Encoder-level): در این روش، بردار جاسازی مجموعه‌داده به بردار ورودی هر کلمه (token) قبل از ورود به لایه‌های ترنسفورمر اضافه می‌شود. این کار به مدل اجازه می‌دهد تا از همان ابتدای پردازش، اطلاعات منبع داده را در تمام محاسبات خود لحاظ کند و تأثیر عمیق‌تری بر بازنمایی نهایی بگذارد.
  2. تزریق در سطح رمزگشا/طبقه‌بندی‌کننده (Decoder-level): در این روش، اطلاعات منبع داده در مراحل پایانی، یعنی درست قبل از لایه‌های طبقه‌بندی‌کننده نهایی، به مدل اضافه می‌شود. این رویکرد تأثیر سطحی‌تری دارد.
• استراتژی‌های آموزش: محققان دو استراتژی اصلی را برای آموزش مدل با داده‌های چندگانه مقایسه کردند:
  • آموزش یکپارچه (All-in-one): یک مدل واحد بر روی ترکیبی از تمام مجموعه‌داده‌های موجود آموزش داده شد. این رویکرد ساده‌ترین راه برای استفاده از همه داده‌هاست.
  • آموزش خوشه‌ای (Clustered): مجموعه‌داده‌ها بر اساس قرابت زبانی (مثلاً خانواده زبان‌های ژرمنی، رومی، و غیره) به خوشه‌های کوچکتری تقسیم شدند و برای هر خوشه یک مدل جداگانه آموزش داده شد. این رویکرد مبتنی بر این فرضیه است که انتقال دانش بین زبان‌های نزدیک به هم مؤثرتر است.

تحلیل نتایج آزمایش‌ها به چهار یافته اصلی و مهم منجر شد:

1. جاسازی مجموعه‌داده حتی با مدل‌های ترنسفورمر نیز مفید است. این مهم‌ترین نتیجه مقاله است. مدل‌های مدرن با وجود قدرت بالای خود، همچنان از دریافت اطلاعات صریح درباره منبع داده سود می‌برند. این اطلاعات به مدل کمک می‌کند تا بین الگوهای زبانی عمومی و ویژگی‌های خاص یک مجموعه‌داده (مانند سبک حاشیه‌نویسی یا دامنه متن) تمایز قائل شود و در نتیجه، مدلی قوی‌تر و با تعمیم‌پذیری بالاتر بسازد.
2. بیشترین افزایش عملکرد زمانی حاصل می‌شود که جاسازی در سطح رمزگذار (Encoder) اعمال شود. نتایج نشان داد که افزودن اطلاعات منبع داده در لایه‌های ابتدایی مدل بسیار مؤثرتر از افزودن آن در انتهای فرآیند است. این امر منطقی است، زیرا مکانیسم توجه (Attention) در ترنسفورمر می‌تواند از این اطلاعات در تمام لایه‌ها برای ساختن بازنمایی‌های غنی‌تر و آگاه از زمینه استفاده کند.
3. بهبود عملکرد برای مجموعه‌داده‌های کوچک و دشوار چشمگیرتر است. این یافته کاربرد عملی این روش را برجسته می‌کند. برای زبان‌ها یا دامنه‌هایی که داده‌های آموزشی فراوانی دارند، مدل به تنهایی قادر به یادگیری الگوها است. اما برای مجموعه‌داده‌های کوچک (مربوط به زبان‌های کم‌منبع) یا آن‌هایی که به دلیل پیچیدگی ساختاری، مدل در آن‌ها عملکرد پایینی دارد، «قرض گرفتن» دانش از مجموعه‌داده‌های دیگر از طریق آموزش مشترک، تأثیر شگرفی بر بهبود دقت دارد.
4. آموزش بر روی ترکیب تمام داده‌ها عملکردی مشابه با طراحی خوشه‌های زبانی دارد. این یک یافته جالب و تا حدی غافلگیرکننده است. به نظر می‌رسد که پیچیدگی مهندسی و دسته‌بندی دستی مجموعه‌داده‌ها بر اساس قرابت زبانی، مزیت قابل توجهی نسبت به رویکرد ساده‌ترِ آموزش یک مدل واحد بر روی تمام داده‌ها ندارد. این یافته نشان می‌دهد که یک مدل ترنسفورمر قدرتمند، به شرط دریافت جاسازی مجموعه‌داده، خود قادر است روابط و تفاوت‌های بین زبان‌ها را کشف کند و این امر فرآیند توسعه مدل‌های چندزبانه را بسیار ساده‌تر می‌کند.

این پژوهش دستاوردهای علمی و کاربردی مهمی را به همراه دارد:

• بهبود ابزارهای NLP برای زبان‌های کم‌منبع: این روش یک راهکار عملی برای ساخت تجزیه‌گرهای نحوی دقیق‌تر برای هزاران زبانی است که از کمبود داده‌های برچسب‌خورده رنج می‌برند.
• توسعه مدل‌های مقاوم‌تر: مدل‌هایی که با این روش آموزش می‌بینند، کمتر به ویژگی‌های تصادفی یا سوگیری‌های یک مجموعه‌داده خاص «بیش‌برازش» (Overfit) می‌کنند و در مواجهه با داده‌های جدید و دیده‌نشده عملکرد بهتری از خود نشان می‌دهند.
• ساده‌سازی فرآیند آموزش مدل‌های چندزبانه: یافته چهارم مقاله نشان می‌دهد که توسعه‌دهندگان می‌توانند بدون نیاز به دانش زبان‌شناسی عمیق برای خوشه‌بندی زبان‌ها، با تجمیع تمام داده‌های موجود و استفاده از جاسازی مجموعه‌داده به نتایج عالی دست یابند.
• تأیید یک اصل مهم در یادگیری ماشین: این مقاله بار دیگر نشان می‌دهد که ارائه اطلاعات فراداده‌ای (Metadata)، مانند منبع داده، به مدل‌های یادگیری عمیق می‌تواند به آن‌ها در یادگیری الگوهای پیچیده و تفکیک منابع تغییرپذیری کمک کند.

مقاله “Parsing with Pretrained Language Models, Multiple Datasets, and Dataset Embeddings” به طور قانع‌کننده‌ای نشان می‌دهد که تکنیک جاسازی مجموعه‌داده، یک ابزار ساده اما بسیار قدرتمند برای بهبود تجزیه‌گرهای نحوی چندزبانه در عصر مدل‌های ترنسفورمر است. این پژوهش با ارائه شواهد تجربی محکم، تأیید می‌کند که آموزش مشترک بر روی داده‌های متنوع، به‌ویژه هنگامی که مدل از منبع هر داده آگاه باشد، منجر به ساخت سیستم‌های قوی‌تر، دقیق‌تر و کارآمدتر می‌شود. یافته‌های این مقاله نه تنها برای حوزه تجزیه نحوی، بلکه برای سایر وظایف پردازش زبان طبیعی که با چالش داده‌های پراکنده و متنوع روبرو هستند نیز راهگشا خواهد بود و گامی مهم در جهت ساخت فناوری‌های زبانی عادلانه‌تر و فراگیرتر محسوب می‌شود.