در سال‌های اخیر، مدل‌های زبان بزرگ (LLMs) حوزه پردازش زبان طبیعی (NLP) را متحول کرده‌اند. این مدل‌ها که بر روی حجم عظیمی از داده‌های متنی آموزش دیده‌اند، توانایی درک و تولید زبان انسان را به سطحی بی‌سابقه رسانده‌اند. با این حال، بیشتر تحقیقات و منابع بر روی زبان انگلیسی متمرکز بوده و زبان‌های دیگر، از جمله اسپانیایی، با چالش‌های خاص خود روبرو هستند. مقاله «آموزه‌هایی از ارزیابی مدل‌های زبان اسپانیایی» (Lessons learned from the evaluation of Spanish Language Models) یک پژوهش انتقادی و کلیدی در این زمینه است که به بررسی و مقایسه جامع مدل‌های زبان اسپانیایی می‌پردازد.

اهمیت این مقاله در آن است که فرضیات رایج در جامعه NLP را به چالش می‌کشد. بسیاری بر این باور بودند که مدل‌های تک‌زبانه (Monolingual) که به طور خاص فقط بر روی داده‌های اسپانیایی آموزش دیده‌اند، باید عملکرد بهتری نسبت به مدل‌های چندزبانه (Multilingual) داشته باشند. این مقاله با ارائه شواهد تجربی قوی، نشان می‌دهد که این تصور لزوماً صحیح نیست و چشم‌انداز رقابتی مدل‌های زبان برای زبان اسپانیایی را به کلی دگرگون می‌کند. این پژوهش به مثابه یک «بررسی واقعیت» (Reality Check) برای محققان و توسعه‌دهندگان فعال در حوزه زبان اسپانیایی عمل می‌کند و مسیر آینده پژوهش در این حوزه را روشن‌تر می‌سازد.

این مقاله توسط رودریگو آجری (Rodrigo Agerri) و انکو آگیره (Eneko Agirre)، دو پژوهشگر برجسته از مرکز فناوری زبان باسک (HiTZ Centre) در دانشگاه باسک اسپانیا، به رشته تحریر درآمده است. این مرکز یکی از قطب‌های مهم تحقیقاتی در زمینه پردازش زبان طبیعی در اروپاست و نویسندگان مقاله از تجربه و تخصص بالایی در این حوزه برخوردارند.

زمینه این تحقیق به ظهور مدل‌های مبتنی بر معماری ترنسفورمر، به ویژه مدل‌های انکودر-محور مانند BERT، بازمی‌گردد. پس از موفقیت چشمگیر BERT برای زبان انگلیسی، گروه‌های تحقیقاتی متعددی، چه در مقیاس آکادمیک و چه در شرکت‌های بزرگ فناوری، اقدام به آموزش و انتشار مدل‌های مشابه برای زبان اسپانیایی کردند. این امر منجر به ایجاد مجموعه‌ای متنوع از مدل‌ها با منابع داده، بودجه و روش‌های آموزشی متفاوت شد. در چنین شرایطی، یک ارزیابی جامع و بی‌طرفانه برای مقایسه مستقیم این مدل‌ها و شناسایی بهترین آن‌ها امری ضروری بود که این مقاله به خوبی از عهده آن برآمده است.

مقاله حاضر یک مقایسه جامع و رودررو (head-to-head) از مدل‌های زبان اسپانیایی ارائه می‌دهد. هدف اصلی، ارزیابی عملکرد مدل‌های مختلفی است که برخی توسط پروژه‌های بزرگ با استفاده از پیکره‌های داده خصوصی و عظیم توسعه یافته‌اند و برخی دیگر حاصل تلاش‌های آکادمیک با مقیاس کوچک‌تر و با استفاده از داده‌های در دسترس عموم هستند. این پژوهش به دو یافته کلیدی و شگفت‌انگیز دست می‌یابد:

• یافته اول: مدل‌های چندزبانه که توسط شرکت‌های بزرگ فناوری توسعه یافته و پیش از این در مقایسه‌ها کمتر مورد توجه قرار می‌گرفتند، عملکردی به مراتب بهتر از مدل‌های تک‌زبانه اسپانیایی دارند. این نتیجه، وضعیت موجود در ارزیابی مدل‌های زبان اسپانیایی را به شدت تغییر می‌دهد.
• یافته دوم: نتایج در میان خود مدل‌های تک‌زبانه قطعی و یکدست نیست. به طوری که برخی مدل‌هایی که تصور می‌شد به دلیل حجم داده کمتر یا منابع محدودتر، ضعیف‌تر باشند، عملکردی رقابتی و گاه بهتر از مدل‌های بزرگ‌تر از خود نشان می‌دهند.

بر اساس این نتایج تجربی، نویسندگان استدلال می‌کنند که تحقیقات بیشتری برای درک عوامل بنیادین مؤثر بر عملکرد مدل‌ها مورد نیاز است. عواملی مانند حجم پیکره، کیفیت داده‌ها و تکنیک‌های پیش‌آموزشی باید به دقت بررسی شوند تا بتوان مدل‌های تک‌زبانه اسپانیایی ساخت که به طور معناداری از مدل‌های چندزبانه شرکت‌های بزرگ بهتر عمل کنند.

برای اطمینان از یک مقایسه عادلانه و دقیق، نویسندگان از یک روش‌شناسی استاندارد و کنترل‌شده استفاده کردند. رویکرد آن‌ها شامل مراحل زیر بود:

• انتخاب مدل‌ها: آن‌ها طیف وسیعی از مدل‌های زبان مبتنی بر انکودر (Encoder-only Masked Language Models) را انتخاب کردند. این مدل‌ها شامل گزینه‌های تک‌زبانه محبوب مانند BETO (نسخه اسپانیایی BERT) و MarIA، و همچنین مدل‌های چندزبانه قدرتمند مانند mBERT (از گوگل) و XLM-RoBERTa (XLM-R) (از فیسبوک) بودند.
• مجموعه وظایف ارزیابی (Evaluation Tasks): برای سنجش عملکرد مدل‌ها، از مجموعه‌ای از وظایف استاندارد در پردازش زبان طبیعی استفاده شد. این وظایف جنبه‌های مختلف درک زبان را پوشش می‌دادند، از جمله:
  • تشخیص موجودیت‌های نام‌دار (Named Entity Recognition – NER)
  • طبقه‌بندی متن (Text Classification)
  • تحلیل احساسات (Sentiment Analysis)
  • پرسش و پاسخ (Question Answering – QA)
• کنترل متغیرها: برای اطمینان از اینکه تفاوت در عملکرد صرفاً به خود مدل‌های پیش‌آموزشی مربوط باشد، تمام مدل‌ها با استفاده از یک مجموعه داده یکسان برای هر وظیفه و با هایپرپارامترهای مشابه फाइन-تیون (Fine-tune) شدند. این رویکرد مقایسه‌ای «سیب با سیب» را تضمین می‌کرد.

این مقاله دو یافته اصلی را برجسته می‌کند که درک ما از وضعیت مدل‌های زبان اسپانیایی را عمیق‌تر می‌کند:

۱. برتری غیرمنتظره مدل‌های چندزبانه:
مهم‌ترین و غافلگیرکننده‌ترین نتیجه تحقیق این بود که مدل‌های چندزبانه، به ویژه XLM-RoBERTa، به طور مداوم از تمام مدل‌های تک‌زبانه اسپانیایی در اکثر وظایف بهتر عمل کردند. این یافته با این باور عمومی که تخصص‌گرایی (آموزش روی یک زبان) به عملکرد بهتر منجر می‌شود، در تضاد است. دلایل احتمالی این برتری عبارتند از:

• حجم و تنوع داده: مدل‌های چندزبانه بر روی پیکره‌های داده‌ای آموزش می‌بینند که شامل بیش از ۱۰۰ زبان است و حجم آن‌ها چندین برابر بزرگترین پیکره‌های تک‌زبانه اسپانیایی است. این تنوع ممکن است به یادگیری بازنمایی‌های زبانی قوی‌تر و عمومی‌تر کمک کند.
• منابع محاسباتی عظیم: شرکت‌های بزرگ فناوری از منابع محاسباتی بسیار گسترده‌ای برای آموزش این مدل‌ها بهره می‌برند که بهینه‌سازی بهتر و همگرایی مؤثرتر را ممکن می‌سازد.

این نتیجه نشان می‌دهد که صرفاً تمرکز بر یک زبان برای آموزش، تضمینی برای دستیابی به بهترین عملکرد نیست.

۲. نتایج غیرقطعی و پیچیده در میان مدل‌های تک‌زبانه:
مقایسه بین مدل‌های تک‌زبانه اسپانیایی هیچ برنده مشخصی را نشان نداد. عملکرد مدل‌ها بسته به وظیفه مورد ارزیابی، متغیر بود. جالب‌تر آنکه، مدل‌هایی که با داده‌های کمتر یا منابع محدودتر توسعه یافته بودند، در برخی موارد عملکردی هم‌سطح یا حتی بهتر از مدل‌هایی داشتند که با استفاده از پیکره‌های خصوصی و بزرگ آموزش دیده بودند. این یافته نشان می‌دهد که اندازه پیکره به تنهایی عامل تعیین‌کننده کیفیت مدل نیست. عواملی مانند کیفیت و پاکسازی داده‌ها، دامنه متون (Domain) و تکنیک‌های خاص پیش‌آموزشی نقشی حیاتی ایفا می‌کنند که نیازمند تحقیقات بیشتر است.

این مقاله دستاوردهای عملی و نظری مهمی برای جامعه پردازش زبان طبیعی، به ویژه برای فعالان حوزه زبان اسپانیایی، به همراه دارد:

• راهنمای عملی برای توسعه‌دهندگان: این تحقیق یک معیار (Benchmark) روشن ارائه می‌دهد. توسعه‌دهندگانی که به دنبال بهترین مدل پایه برای وظایف NLP به زبان اسپانیایی هستند، اکنون می‌دانند که باید مدل‌های چندزبانه پیشرفته مانند XLM-R را به عنوان یک گزینه جدی و اغلب برتر در نظر بگیرند.
• تعیین مسیر تحقیقات آینده: این مقاله نشان داد که تلاش‌ها نباید صرفاً معطوف به ساخت مدل‌های بزرگ‌تر با داده‌های بیشتر باشد. در عوض، جامعه تحقیقاتی باید بر روی درک عمیق‌تر تأثیر کیفیت داده‌ها، روش‌های بهینه پیش‌آموزشی و انتقال یادگیری (Transfer Learning) بین زبان‌ها تمرکز کند.
• تأکید بر اهمیت منابع: نتایج به وضوح نشان می‌دهد که ساخت مدل‌های زبان پیشرفته یک چالش بسیار پرهزینه است. این مسئله اهمیت همکاری، اشتراک‌گذاری منابع و توسعه زیرساخت‌های محاسباتی برای جوامع تحقیقاتی غیرانگلیسی‌زبان را دوچندان می‌کند.

مقاله «آموزه‌هایی از ارزیابی مدل‌های زبان اسپانیایی» یک تحلیل هوشمندانه و مبتنی بر شواهد است که دیدگاه‌های موجود در مورد مدل‌های زبان غیرانگلیسی را به چالش می‌کشد. یافته‌های آن نشان می‌دهد که مسیر ساخت مدل‌های زبانی state-of-the-art پیچیده و پر از نکات ظریف است. برتری مدل‌های چندزبانه که توسط غول‌های فناوری با منابع عظیم ساخته شده‌اند، یک واقعیت انکارناپذیر است.

برای اینکه جامعه علمی و صنعتی اسپانیایی‌زبان بتواند مدل‌های تک‌زبانه‌ای بسازد که به طور قابل توجهی از این رقبای چندزبانه پیشی بگیرند، نیاز به یک رویکرد استراتژیک وجود دارد. این رویکرد باید ترکیبی از تأمین منابع مالی و محاسباتی عظیم با بهترین تخصص و شیوه‌های پژوهشی باشد. در نهایت، این مقاله یک فراخوان برای تحقیقات عمیق‌تر، همکاری گسترده‌تر و ارزیابی‌های شفاف‌تر است تا بتوان پتانسیل کامل فناوری زبان را برای تمام زبان‌های جهان شکوفا کرد.