در دنیای امروز پردازش زبان طبیعی (NLP)، شبکه‌های عصبی عمیق به عنوان موتور محرکه اصلی پیشرفت‌ها مطرح هستند. موفقیت این مدل‌ها تا حد زیادی مدیون ظهور «امبدینگ‌های متنی» (Contextual Embeddings) مانند ELMo و BERT است که توانسته‌اند درک عمیق‌تری از معنا و نحوه کاربرد کلمات در بستر جملات ارائه دهند. با این حال، اغلب پژوهش‌ها و توسعه‌های انجام شده در این حوزه، تمرکز خود را بر زبان انگلیسی قرار داده‌اند و زبان‌های با منابع کمتر (less-resourced languages) که بخش بزرگی از جمعیت جهان را پوشش می‌دهند، کمتر مورد توجه بوده‌اند. این مقاله علمی، گامی مهم در جهت رفع این شکاف برمی‌دارد.

مقاله «ارزیابی امبدینگ‌های متنی در زبان‌های کم‌منبع» (Evaluation of contextual embeddings on less-resourced languages) به بررسی و مقایسه عملکرد مدل‌های پیشرفته امبدینگ متنی در زبان‌هایی که منابع زبانی دیجیتال کمتری نسبت به زبان انگلیسی دارند، می‌پردازد. اهمیت این تحقیق در دو حوزه اصلی نهفته است: اول، ترویج فناوری‌های NLP برای زبان‌های غیرانگلیسی که فرصت‌های نابرابری در دسترسی به ابزارها و خدمات مبتنی بر زبان ایجاد می‌کند. دوم، شناسایی چالش‌ها و فرصت‌های موجود در انتقال فناوری‌های NLP از زبان‌های پرمنبع به زبان‌های کم‌منبع، که می‌تواند به توسعه روش‌های کارآمدتر برای آموزش مدل‌ها در این زبان‌ها منجر شود.

با توجه به اینکه بسیاری از نوآوری‌ها در NLP ابتدا بر روی زبان انگلیسی آزمایش می‌شوند، این تحقیق نشان می‌دهد که چگونه این مدل‌ها در زبان‌هایی با ساختارها، قواعد و واژگان متفاوت عمل می‌کنند. این امر برای ایجاد یک اکوسیستم NLP فراگیر و عادلانه، که همه زبان‌ها و فرهنگ‌ها را در بر گیرد، حیاتی است.

این مقاله توسط گروهی از پژوهشگران برجسته از مؤسسات مختلف ارائه شده است:

• Matej Ulčar
• Aleš Žagar
• Carlos S. Armendariz
• Andraž Repar
• Senja Pollak
• Matthew Purver
• Marko Robnik-Šikonja

این تیم تحقیقاتی با بهره‌گیری از تخصص خود در زمینه‌های یادگیری ماشین، پردازش زبان طبیعی، و علوم کامپیوتر، به بررسی جنبه‌های مختلف امبدینگ‌های متنی پرداخته‌اند. زمینه تحقیق آن‌ها در حوزه «محاسبات و زبان» (Computation and Language) قرار می‌گیرد، که به مطالعه نحوه استفاده از کامپیوترها برای درک، تولید و پردازش زبان انسان می‌پردازد.

چکیده این مقاله به شرح زیر است:

«تسلط کنونی شبکه‌های عصبی عمیق در پردازش زبان طبیعی مبتنی بر امبدینگ‌های متنی مانند ELMo، BERT و مشتقات BERT است. بیشتر کارهای موجود بر انگلیسی تمرکز دارند؛ در مقابل، ما در اینجا اولین مقایسه تجربی چندزبانه دو مدل ELMo و چندین مدل BERT تک‌زبانه و چندزبانه را با استفاده از ۱۴ وظیفه در نه زبان ارائه می‌دهیم. در تنظیمات تک‌زبانه، تجزیه و تحلیل ما نشان می‌دهد که مدل‌های BERT تک‌زبانه عموماً غالب هستند، با چند استثنا مانند وظیفه تجزیه وابستگی، که در آن با مدل‌های ELMo که بر روی مجموعه‌های داده بزرگ آموزش دیده‌اند، رقابت نمی‌کنند. در تنظیمات بین‌زبانی، مدل‌های BERT که تنها بر روی چند زبان آموزش دیده‌اند، بیشترین عملکرد را دارند، و به دنبال آن مدل‌های BERT بسیار چندزبانه قرار دارند.»

به طور خلاصه، این تحقیق به مقایسه روشمند دو رویکرد اصلی در تولید امبدینگ‌های متنی (ELMo و BERT) در چندین زبان کم‌منبع می‌پردازد. هدف اصلی، سنجش کارایی این مدل‌ها در وظایف مختلف NLP و درک این نکته است که چگونه محدودیت منابع زبانی بر عملکرد آن‌ها تأثیر می‌گذارد. نتایج اولیه نشان می‌دهند که در محیط‌های تک‌زبانه، مدل‌های BERT که مختص همان زبان آموزش دیده‌اند، معمولاً برتری دارند، مگر در مواردی خاص مانند تجزیه وابستگی که مدل‌های ELMo با داده‌های بیشتر، عملکرد بهتری نشان می‌دهند. در سناریوهای بین‌زبانی، مدل‌هایی که با داده‌های محدودتر اما تخصصی‌تر آموزش دیده‌اند، یا مدل‌های بسیار چندزبانه، نتایج امیدوارکننده‌ای ارائه می‌دهند.

برای دستیابی به یافته‌های خود، نویسندگان از یک روش‌شناسی تجربی دقیق استفاده کرده‌اند که شامل مراحل زیر است:

• انتخاب مدل‌ها: دو دسته اصلی مدل‌های امبدینگ متنی مورد بررسی قرار گرفتند:
  • ELMo (Embeddings from Language Models): این مدل‌ها مبتنی بر شبکه‌های بازگشتی (RNN) هستند و امبدینگ‌های کلمات را بر اساس زمینه آن‌ها در جمله تولید می‌کنند.
  • BERT (Bidirectional Encoder Representations from Transformers) و مشتقات آن: این مدل‌ها مبتنی بر معماری ترنسفورمر هستند و قادر به پردازش اطلاعات از هر دو جهت (چپ به راست و راست به چپ) در جمله می‌باشند. مدل‌های BERT به صورت تک‌زبانه (برای هر زبان به طور جداگانه) و چندزبانه (آموزش دیده بر روی چندین زبان) استفاده شدند.
• انتخاب زبان‌ها: نه زبان مختلف که نماینده زبان‌های کم‌منبع در نظر گرفته شدند، انتخاب گردیدند. این انتخاب مهم است تا بتوان طیف وسیعی از ویژگی‌های زبانی را پوشش داد.
• انتخاب وظایف NLP: چهارده وظیفه مختلف در حوزه پردازش زبان طبیعی، از جمله وظایف مربوط به درک مطلب، تحلیل نحوی، تشخیص نام‌گذاری اشیاء (NER) و غیره، برای ارزیابی مدل‌ها انتخاب شدند. این تنوع وظایف به سنجش جامع توانایی مدل‌ها در جنبه‌های مختلف زبان کمک می‌کند.
• طراحی آزمایش‌ها: آزمایش‌ها به دو دسته اصلی تقسیم شدند:
  • تنظیمات تک‌زبانه (Monolingual Settings): در این حالت، مدل‌های امبدینگ به صورت جداگانه برای هر زبان آموزش دیده یا تنظیم شدند و سپس برای انجام وظایف مربوط به همان زبان به کار گرفته شدند.
  • تنظیمات بین‌زبانی (Cross-lingual Settings): در این حالت، مدل‌ها بر روی مجموعه‌ای از زبان‌ها (اغلب با منابع بیشتر) آموزش دیده و سپس برای انجام وظایف در زبان‌های کم‌منبع ارزیابی شدند. این شامل مدل‌های BERT که بر روی چند زبان یا تعداد بسیار زیادی زبان آموزش دیده‌اند، می‌شد.
• ارزیابی عملکرد: معیارها و معیارهای ارزیابی استانداردی برای هر وظیفه NLP تعریف شد تا عملکرد مدل‌ها به طور کمی سنجیده شود.

این رویکرد سیستماتیک، امکان مقایسه منصفانه و قابل اعتمادی را بین مدل‌ها و تنظیمات مختلف فراهم می‌کند.

این تحقیق به نتایج مهمی دست یافته است که درک ما را از کارایی امبدینگ‌های متنی در زبان‌های کم‌منبع عمیق‌تر می‌کند:

• برتری مدل‌های تک‌زبانه BERT در بیشتر وظایف: در تنظیمات تک‌زبانه، مدل‌های BERT که به طور خاص برای هر زبان آموزش دیده‌اند، به طور کلی عملکرد بهتری نسبت به مدل‌های ELMo از خود نشان داده‌اند. این نشان‌دهنده قدرت معماری ترنسفورمر و قابلیت آن در یادگیری نمایش‌های غنی از زبان است.
• استثنا در وظیفه تجزیه وابستگی: با این حال، یک استثنای قابل توجه در وظیفه «تجزیه وابستگی» (Dependency Parsing) مشاهده شد. در این وظیفه، مدل‌های ELMo که بر روی حجم عظیمی از داده‌های متنی آموزش دیده بودند، اغلب توانستند با مدل‌های BERT تک‌زبانه رقابت کنند یا حتی از آن‌ها پیشی بگیرند. این ممکن است به دلیل حساسیت بیشتر مدل‌های مبتنی بر RNN (مانند ELMo) به ساختارهای نحوی پیچیده در برخی زبان‌ها یا نیاز به داده‌های آموزشی بسیار بزرگ برای تسلط بر این وظیفه باشد.
• عملکرد مدل‌های BERT با داده‌های محدود در تنظیمات بین‌زبانی: در سناریوهای بین‌زبانی، جایی که مدل باید بتواند زبان‌هایی را که کمتر دیده است، پردازش کند، نتایج جالب توجهی به دست آمد. مدل‌های BERT که با دقت بر روی تنها چند زبان (اغلب زبان‌های نزدیک یا با منابع بیشتر) آموزش دیده‌اند، اغلب بهترین عملکرد را از خود نشان دادند. این نشان می‌دهد که «یادگیری انتقالی» (Transfer Learning) از طریق دانش زبانی اکتسابی از زبان‌های مشابه، می‌تواند بسیار مؤثر باشد.
• کارایی مدل‌های بسیار چندزبانه: مدل‌های BERT که بر روی مقیاس وسیعی از زبان‌ها (مانند mBERT) آموزش دیده‌اند نیز عملکرد قوی و قابل قبولی در تنظیمات بین‌زبانی داشتند. این مدل‌ها، اگرچه ممکن است در همه وظایف به بهترین شکل عمل نکنند، اما تطبیق‌پذیری بالایی از خود نشان داده و یک گزینه مناسب برای کاربردهایی هستند که نیاز به پوشش زبانی گسترده دارند.
• اهمیت داده و معماری: یافته‌ها بر اهمیت هر دو عامل «مقدار داده آموزشی» و «معماری مدل» در موفقیت امبدینگ‌های متنی تأکید دارند. در حالی که BERT با معماری خود پیشرفت‌های چشمگیری ایجاد کرده، ELMo نیز در شرایط خاص و با داده‌های کافی همچنان رقابتی است.

نتایج این تحقیق پیامدهای گسترده‌ای برای توسعه ابزارها و سیستم‌های NLP در سراسر جهان دارد:

• توسعه ابزارهای NLP برای زبان‌های کم‌منبع: این مقاله راهنمایی‌های ارزشمندی برای محققان و توسعه‌دهندگان ارائه می‌دهد که قصد دارند مدل‌های NLP را برای زبان‌هایی با منابع محدود بسازند. انتخاب بین مدل‌های تک‌زبانه، چندزبانه، یا حتی تنظیم دقیق (fine-tuning) مدل‌های از پیش آموزش‌دیده، باید با در نظر گرفتن وظیفه خاص و زبان مورد نظر صورت گیرد.
• پیشبرد تحقیقات چندزبانه: یافته‌ها در مورد عملکرد مدل‌های BERT که بر روی چند زبان محدود آموزش دیده‌اند، مسیرهای جدیدی را برای تحقیقات آینده در زمینه مدل‌های چندزبانه و بین‌زبانی باز می‌کند. تمرکز بر «زبان‌های مرتبط» (related languages) می‌تواند استراتژی مؤثری برای بهبود عملکرد در زبان‌های کم‌منبع باشد.
• کاهش شکاف دیجیتال زبانی: با نشان دادن اینکه چگونه فناوری‌های پیشرفته NLP می‌توانند با موفقیت در زبان‌های کم‌منبع به کار گرفته شوند، این تحقیق به کاهش شکاف دیجیتال زبانی کمک می‌کند. این امر به دسترسی برابر به اطلاعات، آموزش، و خدمات آنلاین برای همه کاربران زبان، صرف نظر از زبان مادری‌شان، منجر خواهد شد.
• ایجاد مدل‌های قوی‌تر و کارآمدتر: درک بهتر نقاط قوت و ضعف مدل‌های مختلف در زمینه‌های زبانی متنوع، به مهندسان و دانشمندان علوم کامپیوتر کمک می‌کند تا مدل‌های NLP قوی‌تر، کارآمدتر، و مقیاس‌پذیرتری طراحی کنند.
• کاربرد در حوزه‌های عملی: این تحقیقات می‌تواند مستقیماً در کاربردهای عملی مانند ترجمه ماشینی، خلاصه‌سازی متن، دستیارهای صوتی، سیستم‌های پرسش و پاسخ، و تحلیل احساسات برای زبان‌های مختلف، به کار گرفته شود.

به عنوان مثال، یک شرکت فعال در حوزه ارائه خدمات مشتری ممکن است بخواهد یک چت‌بات برای پشتیبانی از کاربران خود در کشورهایی با زبان‌های کمتر رایج توسعه دهد. این مقاله به آن‌ها کمک می‌کند تا تصمیم بگیرند آیا باید یک مدل BERT تخصصی برای هر زبان طراحی کنند، یا از یک مدل چندزبانه قوی استفاده کنند، و یا شاید با آموزش مدل بر روی چند زبان نزدیک، بهترین نتیجه را بدست آورند.

مقاله «ارزیابی امبدینگ‌های متنی در زبان‌های کم‌منبع» یک مطالعه بنیادین و ضروری در حوزه پردازش زبان طبیعی است. این تحقیق نشان می‌دهد که در حالی که مدل‌های BERT استاندارد، توانمندی‌های قابل توجهی در پردازش زبان دارند، چالش‌ها و تفاوت‌های کلیدی در زبان‌های کم‌منبع وجود دارد که نیازمند رویکردهای سنجیده است.

یافته‌های کلیدی مبنی بر برتری مدل‌های تک‌زبانه BERT در اکثر وظایف، با استثنا در تجزیه وابستگی، و عملکرد امیدوارکننده مدل‌های بین‌زبانی با داده‌های محدود، دریچه‌ای نو به سوی توسعه فناوری‌های NLP عادلانه و فراگیر می‌گشاید. این مقاله نه تنها دانش علمی موجود را افزایش می‌دهد، بلکه راهنمای عملی ارزشمندی برای تحقیقات و توسعه‌های آینده در جهت تضمین این است که مزایای انقلاب هوش مصنوعی در پردازش زبان، به طور عادلانه به همه زبان‌ها و جوامع برسد.

آینده NLP در گرو توجه بیشتر به تنوع زبانی و تلاش برای ایجاد مدل‌هایی است که بتوانند با هر زبانی، به طور مؤثر و عادلانه تعامل کنند. این پژوهش گامی مهم در این مسیر است.