در سال‌های اخیر، مدل‌های زبانی از پیش‌آموزش‌دیده (Pre-trained Language Models) مانند BERT انقلابی در حوزه پردازش زبان طبیعی (NLP) ایجاد کرده‌اند. این مدل‌ها با توانایی درک عمیق ساختارهای زبانی، در طیف گسترده‌ای از وظایف مانند ترجمه ماشینی، تحلیل احساسات و پاسخ به پرسش به موفقیت‌های چشمگیری دست یافته‌اند. با این حال، عمده این پیشرفت‌ها متمرکز بر زبان‌های پرمخزن (high-resource) مانند انگلیسی بوده است و کارایی آن‌ها در مواجهه با زبان‌های کم‌مخزن (low-resource) و دارای ساختار ساخت‌واژی (morphology) غنی با چالش‌های جدی روبرو است.

مقاله “KinyaBERT: a Morphology-aware Kinyarwanda Language Model” نوشته آنتوان نزییمانا و آندره نیونگابو روبونگو، دقیقاً به همین نقطه ضعف می‌پردازد. این مقاله یک معماری نوین به نام KinyaBERT را معرفی می‌کند که به طور خاص برای زبان کینیارواندا (Kinyarwanda) — یک زبان بانتو که به دلیل ساختار واژگانی پیچیده و کمبود داده‌های دیجیتال شناخته می‌شود — طراحی شده است. اهمیت این پژوهش در دو جنبه اصلی نهفته است: اولاً، یک راهکار عملی برای بهبود عملکرد مدل‌های زبانی در زبان‌های ساخت‌واژه‌محور ارائه می‌دهد و دوماً، گامی مهم در جهت «دموکراتیزه کردن» هوش مصنوعی و گسترش دامنه فناوری‌های زبانی به جوامع کمتر برخوردار از نظر دیجیتال برمی‌دارد.

این مقاله حاصل تلاش دو پژوهشگر، آنتوان نزییمانا (Antoine Nzeyimana) و آندره نیونگابو روبونگو (Andre Niyongabo Rubungo)، است که در حوزه پردازش زبان طبیعی، به ویژه برای زبان‌های آفریقایی، فعالیت می‌کنند. تمرکز آن‌ها بر زبان کینیارواندا، زبان رسمی رواندا، نشان‌دهنده یک جریان رو به رشد در جامعه علمی NLP برای توجه به زبان‌هایی است که تاکنون در سایه زبان‌های بزرگ جهانی قرار داشته‌اند.

زمینه این تحقیق، ضرورت توسعه مدل‌هایی است که بتوانند با پیچیدگی‌های زبانی فراتر از انگلیسی سازگار شوند. زبان کینیارواندا، مانند بسیاری از زبان‌های خانواده بانتو، یک زبان پیوندی (agglutinative) است؛ به این معنا که یک کلمه می‌تواند از ترکیب چندین تک‌واژ (morpheme) تشکیل شود که هر کدام معنای دستوری خاصی (مانند زمان فعل، فاعل، مفعول و…) را حمل می‌کنند. این ویژگی، روش‌های استاندارد توکنیزه کردن (tokenization) مانند BPE که در مدل BERT استفاده می‌شود را ناکارآمد می‌سازد. این پژوهش در تلاش است تا با ادغام دانش زبان‌شناختی در معماری شبکه عصبی، این مانع را برطرف کند.

نویسندگان در چکیده مقاله به این موضوع اشاره می‌کنند که مدل‌های استاندارد مانند BERT در پردازش زبان‌های غنی از نظر ساخت‌واژه عملکرد مطلوبی ندارند. روش‌های متداول تقسیم کلمات به زیرواژه (sub-word tokenization) نمی‌توانند روابط پیچیده میان تک‌واژها را به درستی مدل کنند. حتی اگر از یک تحلیلگر ساخت‌واژی برای تجزیه کلمات به تک‌واژها استفاده شود، قرار دادن ساده این تک‌واژها پشت سر هم و خوراندن آن‌ها به یک معماری استاندارد BERT، در درک ترکیب‌پذیری ساخت‌واژی (morphological compositionality) و قواعد نحوی مرتبط با کلمات ناتوان است.

برای حل این مشکل، مقاله یک معماری دو-لایه (two-tier) ساده اما مؤثر به نام KinyaBERT را پیشنهاد می‌کند. این معماری از یک تحلیلگر ساخت‌واژی بهره می‌برد و به صراحت ترکیب تک‌واژها برای ساختن کلمات را مدل‌سازی می‌کند. با وجود موفقیت‌های BERT، ارزیابی‌های آن عمدتاً بر روی زبان‌های پرمخزن انجام شده است. این پژوهش مدل پیشنهادی خود را بر روی زبان کم‌مخزن و پیچیده کینیارواندا ارزیابی می‌کند. نتایج نشان می‌دهد که KinyaBERT در وظیفه بازشناسی موجودیت‌های نام‌دار (NER) به میزان ۲ درصد و در بنچمارک GLUE که به صورت ماشینی ترجمه شده، به طور میانگین ۴.۳ درصد از مدل‌های پایه بهتر عمل می‌کند. همچنین، مدل KinyaBERT در فرآیند تنظیم دقیق (fine-tuning) سریع‌تر همگرا شده و حتی در حضور نویز ناشی از ترجمه ماشینی، نتایج پایدارتری ارائه می‌دهد.

قلب نوآوری این مقاله در معماری منحصربه‌فرد KinyaBERT نهفته است. برای درک بهتر این روش، ابتدا باید مشکل مدل‌های استاندارد را بررسی کنیم.

• چالش توکنیزاسیون استاندارد: مدل BERT از روش‌هایی مانند Byte-Pair Encoding (BPE) برای شکستن کلمات به واحدهای کوچکتر استفاده می‌کند. در زبانی مانند کینیارواندا، یک کلمه مانند “Bazabibabwira” (آن‌ها آن را به آن‌ها خواهند گفت) از تک‌واژهای متعددی تشکیل شده است: Ba- (آن‌ها) + -za- (آینده) + -bi- (آن را) + -ba- (به آن‌ها) + -bwira (گفتن). روش BPE ممکن است این کلمه را به قطعاتی بی‌معنا یا با ساختار از دست‌رفته تقسیم کند و در نتیجه، مدل قادر به درک نقش هر جزء نخواهد بود.

KinyaBERT این مشکل را با یک رویکرد هوشمندانه دو-لایه حل می‌کند:

1. لایه اول: مدل‌سازی تک‌واژ (Morpheme-level): در این لایه، هر کلمه ابتدا توسط یک تحلیلگر ساخت‌واژی به تک‌واژهای سازنده‌اش تجزیه می‌شود. سپس این تک‌واژها به یک مدل ترنسفورمر (شبیه به BERT) وارد می‌شوند. خروجی این لایه، یک بردار بازنمایی (representation vector) برای هر تک‌واژ است که معنای آن را در بافتار سایر تک‌واژهای همان کلمه در بر دارد.
2. لایه دوم: مدل‌سازی کلمه (Word-level): در این لایه، بردارهای بازنمایی تک‌واژهای متعلق به هر کلمه از لایه اول، با یکدیگر ترکیب می‌شوند (مثلاً از طریق یک مکانیسم تجمعی یا توجه) تا یک بردار بازنمایی واحد برای کل کلمه ایجاد شود. این بازنمایی‌های سطح کلمه، که اکنون سرشار از اطلاعات ساخت‌واژی هستند، به یک مدل ترنسفورمر دیگر وارد می‌شوند تا روابط میان کلمات در جمله مدل‌سازی شود.

این معماری به مدل اجازه می‌دهد تا هم ساختار درونی کلمات و هم روابط بین کلمات را به طور همزمان و به شیوه‌ای مؤثر بیاموزد. برای ارزیابی، پژوهشگران از دو مجموعه وظیفه استفاده کردند: بازشناسی موجودیت‌های نام‌دار (NER) و نسخه ترجمه‌شده بنچمارک GLUE، که مجموعه‌ای از وظایف درک زبان است.

نتایج تجربی این پژوهش به وضوح برتری معماری KinyaBERT را نسبت به مدل‌های پایه (مانند mBERT یا مدل‌های BERT آموزش‌دیده به روش استاندارد روی داده‌های کینیارواندا) نشان می‌دهد.

• عملکرد برتر در وظایف کاربردی: KinyaBERT موفق شد در وظیفه NER، امتیاز F1 را به میزان ۲ درصد بهبود بخشد. این بهبود در شناسایی دقیق اسامی افراد، سازمان‌ها و مکان‌ها در متن بسیار حائز اهمیت است.
• موفقیت در بنچمارک عمومی: در بنچمارک GLUE، این مدل توانست میانگین امتیازات را ۴.۳ درصد افزایش دهد. این نشان می‌دهد که درک عمیق‌تر از ساختار کلمه به بهبود عملکرد در طیف وسیعی از وظایف درک زبان منجر می‌شود.
• همگرایی سریع‌تر و پایداری بیشتر: یکی از یافته‌های جالب این بود که KinyaBERT در مرحله تنظیم دقیق (fine-tuning) برای وظایف خاص، سریع‌تر به بهترین عملکرد خود می‌رسد. این ویژگی به معنای نیاز کمتر به منابع محاسباتی و زمان آموزش است.
• مقاومت در برابر نویز: از آنجایی که داده‌های آموزشی باکیفیت برای زبان‌های کم‌مخزن کمیاب است، محققان مدل را بر روی داده‌های ترجمه‌شده توسط ماشین (که اغلب دارای خطا هستند) نیز آزمودند. KinyaBERT حتی در این شرایط نیز نتایج پایدار و قوی‌تری از خود نشان داد که این یک مزیت بزرگ برای کاربردهای واقعی محسوب می‌شود.

مقاله KinyaBERT فراتر از یک پیشرفت نظری صرف، دستاوردهای عملی و علمی مهمی را به ارمغان می‌آورد.

کاربردهای عملی:

• بهبود ابزارهای زبانی: این مدل می‌تواند زیربنای توسعه ابزارهای NLP دقیق‌تر برای زبان کینیارواندا باشد؛ از جمله موتورهای جستجوی هوشمند، سیستم‌های ترجمه ماشینی، دستیارهای صوتی و چت‌بات‌ها.
• تحلیل داده‌های متنی: سازمان‌های دولتی، رسانه‌ها و شرکت‌ها می‌توانند از این فناوری برای تحلیل احساسات، استخراج اطلاعات و پایش افکار عمومی در متون کینیارواندا استفاده کنند.
• حفظ و ترویج زبان: با ایجاد ابزارهای دیجیتال پیشرفته، می‌توان به حفظ و ترویج زبان کینیارواندا در فضای دیجیتال کمک کرد و دسترسی به اطلاعات را برای گویشوران این زبان تسهیل نمود.

دستاوردهای علمی:

• ارائه یک معماری جدید: معماری دو-لایه و ساخت‌واژه-آگاه KinyaBERT یک الگوی قابل تعمیم برای سایر زبان‌های غنی از نظر ساخت‌واژه (مانند ترکی، فنلاندی، سواحلی و حتی فارسی) است.
• تأکید بر اهمیت زبان‌شناسی: این پژوهش نشان می‌دهد که ترکیب دانش زبان‌شناختی با معماری‌های یادگیری عمیق می‌تواند به نتایج بهتری نسبت به رویکردهای صرفاً داده‌محور منجر شود.
• کمک به حوزه NLP آفریقایی: این مقاله یک سهم ارزشمند در زمینه رو به رشد پردازش زبان طبیعی برای زبان‌های آفریقایی (Afrocentric NLP) است و راه را برای تحقیقات مشابه هموار می‌کند.

مقاله “KinyaBERT: a Morphology-aware Kinyarwanda Language Model” یک پژوهش تأثیرگذار است که به یکی از چالش‌های اساسی در پردازش زبان طبیعی مدرن می‌پردازد: شکاف عملکرد بین زبان‌های پرمخزن و کم‌مخزن. نویسندگان با هوشمندی نشان می‌دهند که محدودیت‌های مدل‌های استاندارد در زبان‌های پیچیده مانند کینیارواندا، نه یک مانع غیرقابل عبور، بلکه یک فرصت برای نوآوری است.

با معرفی معماری دو-لایه KinyaBERT، آن‌ها راهکاری ارائه می‌دهند که با احترام به ساختار منحصربه‌فرد زبان، به درک عمیق‌تری از آن دست می‌یابد. نتایج قوی و بهبودهای قابل توجه در معیارهای مختلف، اثربخشی این رویکرد را به اثبات می‌رساند. این کار نه تنها یک مدل بهتر برای زبان کینیارواندا ارائه می‌دهد، بلکه به عنوان یک نقشه راه برای محققانی عمل می‌کند که به دنبال توسعه فناوری‌های زبانی برای سایر زبان‌های کمتر مورد توجه جهان هستند. در نهایت، KinyaBERT گامی مهم به سوی آینده‌ای است که در آن هوش مصنوعی به تمام زبان‌ها و فرهنگ‌ها به طور یکسان خدمت می‌کند.