۱. معرفی مقاله و اهمیت آن

در دنیای امروز که فناوری اطلاعات نقش محوری ایفا می‌کند، بسیاری از زبان‌های بومی آفریقا در حوزه پردازش زبان‌های طبیعی (NLP) کم‌خدمت‌رسانی‌شده تلقی می‌شوند. این وضعیت منجر به نابرابری دیجیتال و محدودیت دسترسی به اطلاعات برای گویشوران این زبان‌ها شده است. مشکل اصلی در توسعه ابزارهای NLP برای این زبان‌ها، کمبود شدید داده‌های مناسب برای آموزش مدل‌های یادگیری ماشین و یادگیری عمیق است.

مقاله “Kencorpus: پیکره‌ای از زبان‌های سواحلی، دُولُ و لوهیا در کنیا برای پردازش زبان‌های طبیعی” به منظور رفع این چالش بنیادین ارائه شده است. پروژه Kencorpus با هدف جمع‌آوری و ذخیره‌سازی داده‌های متنی و گفتاری باکیفیت برای سه زبان اصلی کنیا – سواحلی، دُولُ و لوهیا – گامی مهم در جهت توانمندسازی دیجیتال این جوامع برمی‌دارد. اهمیت این تحقیق در فراهم آوردن زیرساخت‌های داده‌ای لازم برای توسعه کاربردهای عملی نظیر ترجمه ماشینی، پاسخ‌گویی به پرسش و رونویسی خودکار در محیط‌های چندزبانه است، که نهایتاً به ارتقای شمول دیجیتالی و دسترسی به اطلاعات کمک شایانی خواهد کرد.

۲. نویسندگان و زمینه تحقیق

این مقاله توسط تیمی متشکل از محققان Barack Wanjawa، Lilian Wanzare، Florence Indede، Owen McOnyango، Edward Ombui و Lawrence Muchemi به نگارش درآمده است. این گروه با تخصص در زمینه‌های زبان‌شناسی محاسباتی و پردازش زبان‌های طبیعی، به بررسی چالش‌های خاص زبان‌های آفریقایی پرداخته‌اند.

زمینه تحقیق بر اساس نیاز مبرم به منابع زبانی برای زبان‌های بومی آفریقا است که غالباً فاقد داده‌های کافی برای توسعه فناوری‌های NLP هستند. پروژه Kencorpus به طور خاص بر سه زبان تمرکز دارد که در کنیا به طور گسترده صحبت می‌شوند:

• سواحلی (Swahili/Kiswahili): زبان ملی کنیا و زبان میانجی در شرق آفریقا.
• دُولُ (Dholuo): زبان مردم لوو در کنیا.
• لوهیا (Luhya): مجموعه‌ای از زبان‌ها و لهجه‌های مرتبط در غرب کنیا.

انتخاب این زبان‌ها به دلیل گستردگی آن‌ها در کنیا و نیاز مبرم به منابع دیجیتالی برایشان صورت گرفته است، به ویژه که دُولُ و لوهیا نیز در دسته زبان‌های کم‌منبع قرار می‌گیرند. این تحقیق به دنبال کاهش شکاف دیجیتالی و ارتقای توانمندی‌های زبانی در فضای سایبر است.

۳. چکیده و خلاصه محتوا

چکیده مقاله به چالش اصلی یعنی کم‌خدمت‌رسانی شدن زبان‌های بومی آفریقا در NLP و پیامدهای آن، نظیر شمول دیجیتالی ضعیف و دسترسی محدود به اطلاعات، اشاره می‌کند. راهکار پیشنهادی پروژه Kencorpus، گردآوری و ذخیره‌سازی داده‌های متنی و گفتاری کافی برای توسعه راه‌حل‌های داده‌محور در کاربردهایی مانند ترجمه ماشینی، پاسخ‌گویی به پرسش و رونویسی خودکار در جوامع چندزبانه است.

مجموعه داده Kencorpus یک پیکره متنی و گفتاری برای سه زبان سواحلی، دُولُ و لوهیا است. جمع‌آوری داده‌ها توسط محققان با همکاری مستقیم با جوامع، مدارس، رسانه‌ها و ناشران انجام شده است. این مجموعه داده شامل ۵,۵۹۴ آیتم است:

• ۴,۴۴۲ مورد متنی (شامل ۵.۶ میلیون کلمه)
• ۱,۱۵۲ فایل گفتاری (معادل ۱۷۷ ساعت مکالمه)

بر اساس این داده‌ها، منابع زبانی تخصصی نیز توسعه یافته‌اند:

• مجموعه‌های برچسب‌گذاری اجزای کلام (POS tagging) برای دُولُ (۵۰,۰۰۰ کلمه) و لوهیا (۹۳,۰۰۰ کلمه).
• ۷,۵۳۷ جفت پرسش و پاسخ برای زبان سواحلی.
• یک مجموعه ترجمه متنی شامل ۱۳,۴۰۰ جمله از دُولُ و لوهیا به سواحلی.

این مجموعه‌های داده برای وظایف پایین‌دستی یادگیری ماشین نظیر آموزش مدل‌ها و ترجمه مفید هستند. نویسندگان همچنین دو سیستم مفهومی (proof of concept) توسعه داده‌اند:

• یک سیستم تبدیل گفتار به متن برای سواحلی با نرخ خطای کلمه (WER) ۱۸.۸۷٪.
• یک سیستم یادگیری ماشین برای پاسخ‌گویی به پرسش با دقت تطابق کامل (EM) ۸۰٪.

این نتایج اولیه، امیدواری زیادی را برای کاربردپذیری Kencorpus در جامعه یادگیری ماشین ایجاد می‌کند. Kencorpus یکی از معدود پیکره‌های عمومی برای این سه زبان کم‌منبع است و پایه‌ای برای یادگیری و اشتراک‌گذاری تجربیات برای کارهای مشابه فراهم می‌آورد.

۴. روش‌شناسی تحقیق

روش‌شناسی پروژه Kencorpus بر جمع‌آوری و پردازش داده‌های زبانی به شیوه‌ای جامع و دقیق، با تأکید بر مشارکت جامعه، استوار است.

۴.۱. جمع‌آوری داده‌ها

پروژه از یک رویکرد چندجانبه در جمع‌آوری داده‌ها استفاده کرده است. محققان به طور فعال با بخش‌های مختلف جامعه همکاری کرده‌اند:

• جوامع محلی: برای جمع‌آوری داده‌های گفتاری و متنی اصیل.
• مدارس: برای گردآوری متون آموزشی و نوشتاری دانش‌آموزان.
• رسانه‌ها: برای جمع‌آوری متون و گفتار معاصر از روزنامه‌ها، مجلات و پخش‌های رادیویی/تلویزیونی.
• ناشران: برای دسترسی به کتاب‌ها، مقالات و متون منتشر شده معتبر.

این تنوع منابع، به ایجاد یک پیکره داده‌ای غنی و نماینده از نحوه استفاده واقعی از زبان‌ها در کنیا کمک کرده است.

۴.۲. پردازش و آماده‌سازی داده‌ها

پس از جمع‌آوری، داده‌ها برای وظایف NLP آماده‌سازی شده‌اند:

• برچسب‌گذاری اجزای کلام (POS Tagging): برای زبان‌های دُولُ و لوهیا، کلمات با برچسب‌های گرامری (مانند اسم، فعل) برچسب‌گذاری شده‌اند، که برای تحلیل گرامری اساسی است.
• تولید جفت‌های پرسش و پاسخ (QA Pairs): برای زبان سواحلی، جفت‌های پرسش و پاسخ ایجاد شده‌اند تا مدل‌هایی قادر به درک پرسش و یافتن پاسخ باشند.
• توسعه مجموعه‌های ترجمه: مجموعه‌ای از ۱۳,۴۰۰ جمله از زبان‌های دُولُ و لوهیا به سواحلی ترجمه شده است، که برای آموزش و ارزیابی سیستم‌های ترجمه ماشینی ارزشمند هستند.

۴.۳. توسعه سیستم‌های مفهومی

برای نمایش کاربردپذیری پیکره، دو سیستم مفهومی توسعه یافتند:

• سیستم تبدیل گفتار به متن برای سواحلی (ASR): این سیستم امکان تبدیل گفتار به متن نوشتاری را فراهم می‌آورد.
• سیستم پاسخ‌گویی به پرسش برای سواحلی (QA System): این سیستم قادر به درک پرسش کاربر و ارائه پاسخ دقیق از یک مجموعه متن داده شده است.

این سیستم‌ها به عنوان اثبات مفهوم عمل کرده و نشان می‌دهند که داده‌های Kencorpus چگونه می‌توانند به طور عملی برای توسعه فناوری‌های NLP استفاده شوند.

۵. یافته‌های کلیدی

پروژه Kencorpus به دستاوردهای چشمگیری نائل شده است که نه تنها یک پیکره داده‌ای ارزشمند را ارائه می‌دهد، بلکه پتانسیل بالای زبان‌های کم‌منبع را برای توسعه فناوری‌های NLP به اثبات می‌رساند.

۵.۱. ایجاد یک پیکره داده‌ای جامع

محوری‌ترین دستاورد، گردآوری و ساخت یک پیکره داده‌ای بزرگ و متنوع برای زبان‌های سواحلی، دُولُ و لوهیا است که شامل:

• ۵,۵۹۴ آیتم داده (۴,۴۴۲ متن معادل ۵.۶ میلیون کلمه و ۱,۱۵۲ فایل گفتاری معادل ۱۷۷ ساعت).

این میزان داده، Kencorpus را به یکی از غنی‌ترین منابع عمومی برای این زبان‌ها تبدیل می‌کند.

۵.۲. توسعه منابع زبانی تخصصی

محققان مجموعه‌های داده پردازش شده و برچسب‌گذاری شده‌ای را نیز توسعه داده‌اند:

• مجموعه‌های برچسب‌گذاری اجزای کلام (POS Tagging) برای دُولُ (۵۰,۰۰۰ کلمه) و لوهیا (۹۳,۰۰۰ کلمه).
• ۷,۵۳۷ جفت پرسش و پاسخ برای سواحلی.
• ۱۳,۴۰۰ جمله ترجمه شده از دُولُ و لوهیا به سواحلی.

۵.۳. عملکرد امیدوارکننده سیستم‌های مفهومی

نتایج حاصل از دو سیستم مفهومی توسعه یافته، پتانسیل کاربردی Kencorpus را به خوبی نشان می‌دهد:

• سیستم تبدیل گفتار به متن (ASR) برای سواحلی: با نرخ خطای کلمه (WER) ۱۸.۸۷٪، که برای یک زبان کم‌منبع بسیار امیدوارکننده است.
• سیستم پاسخ‌گویی به پرسش (QA) برای سواحلی: با دقت تطابق کامل (EM) ۸۰٪، که نشان‌دهنده توانایی سیستم در یافتن پاسخ‌های صحیح است.

این نتایج اولیه، تأییدی بر قابلیت استفاده و اثربخشی داده‌های Kencorpus برای جامعه یادگیری ماشین است و راه را برای توسعه سیستم‌های پیشرفته‌تر هموار می‌سازد. Kencorpus همچنین به عنوان یکی از معدود پیکره‌های عمومی برای این سه زبان، بستری برای اشتراک‌گذاری تجربیات و یادگیری در کارهای مشابه فراهم می‌آورد.

۶. کاربردها و دستاوردها

پروژه Kencorpus فراتر از یک مجموعه داده صرف، بستری برای ایجاد تحولات بنیادین در حوزه پردازش زبان‌های طبیعی برای زبان‌های آفریقایی فراهم می‌آورد. کاربردها و دستاوردهای این پروژه دارای ابعاد وسیع و تأثیرگذاری هستند:

۶.۱. شتاب‌دهی به تحقیقات NLP و توسعه ابزارها

Kencorpus داده‌های ضروری را برای تحقیقات پیشرفته در NLP فراهم می‌کند و به محققان امکان می‌دهد تا:

• مدل‌های ترجمه ماشینی دقیق‌تر را توسعه دهند.
• سیستم‌های پاسخ‌گویی به پرسش هوشمندتر را بهبود بخشند.
• ابزارهای رونویسی خودکار گفتار (ASR) قوی برای سواحلی و سایر زبان‌ها بسازند.
• تحلیل‌های زبانی عمیق‌تر با استفاده از مجموعه‌های برچسب‌گذاری اجزای کلام انجام دهند.

۶.۲. ارتقای شمول دیجیتالی و دسترسی به اطلاعات

با فراهم آمدن ابزارهای NLP، گویشوران این زبان‌ها می‌توانند دسترسی بهتری به محتوای دیجیتال داشته باشند، شامل:

• ایجاد و دسترسی به محتوای بومی در اینترنت.
• توسعه دستیارهای صوتی و رابط‌های کاربری چندزبانه به زبان مادری.
• تولید محتوای آموزشی و اطلاع‌رسانی بهداشتی به زبان‌های محلی.

۶.۳. الگوبرداری برای زبان‌های کم‌منبع دیگر

موفقیت Kencorpus به عنوان یک پیکره عمومی برای زبان‌های کم‌منبع، یک الگو و الهام‌بخش برای پروژه‌های مشابه در سایر مناطق جهان است. این پروژه نشان می‌دهد که با رویکرد جامعه‌محور و سرمایه‌گذاری مناسب، می‌توان بر چالش کمبود داده فائق آمد و زبان‌های بومی را وارد عصر دیجیتال کرد. تجربیات Kencorpus می‌تواند در پروژه‌های مشابه برای دیگر زبان‌های آفریقایی و سایر نقاط جهان به کار گرفته شود.

۷. نتیجه‌گیری

پروژه Kencorpus نمادی از تلاشی موفقیت‌آمیز برای رفع چالش کمبود داده در حوزه پردازش زبان‌های طبیعی برای زبان‌های بومی آفریقا است. این مقاله با معرفی یک پیکره داده‌ای جامع و باکیفیت برای زبان‌های سواحلی، دُولُ و لوهیا در کنیا، گام مهمی در جهت پر کردن شکاف دیجیتالی و ارتقای شمول فناوری برای جوامع کم‌خدمت‌رسانی‌شده برداشته است.

از طریق یک روش‌شناسی دقیق و جامعه‌محور، تیم Kencorpus توانست بیش از ۵.۶ میلیون کلمه متن و ۱۷۷ ساعت گفتار را جمع‌آوری کند. علاوه بر این، توسعه منابع زبانی تخصصی نظیر مجموعه‌های برچسب‌گذاری اجزای کلام، جفت‌های پرسش و پاسخ و مجموعه‌های ترجمه، ارزش این پیکره را دوچندان کرده است. نتایج امیدوارکننده از سیستم‌های مفهومی تبدیل گفتار به متن (WER 18.87%) و پاسخ‌گویی به پرسش (EM 80%)، به وضوح پتانسیل بالای کاربردپذیری Kencorpus را برای جامعه یادگیری ماشین نشان می‌دهد.

اهمیت Kencorpus فراتر از یک مجموعه داده صرف است؛ این پروژه به عنوان یکی از معدود پیکره‌های عمومی برای این زبان‌ها، نه تنها به عنوان یک منبع حیاتی برای آموزش مدل‌های هوش مصنوعی عمل می‌کند، بلکه به عنوان یک الگو و مرجع برای پروژه‌های مشابه در راستای توسعه زبان‌های کم‌منبع در سراسر جهان محسوب می‌شود. این دستاورد، راه را برای ترجمه ماشینی کارآمدتر، سیستم‌های پاسخ‌گویی به پرسش هوشمندتر و دسترسی گسترده‌تر به اطلاعات به زبان‌های بومی هموار می‌سازد. Kencorpus تأکیدی است بر اینکه با همکاری و رویکرد داده‌محور، می‌توانیم موانع زبانی را در فضای دیجیتال برطرف کرده و به توانمندسازی دیجیتالی تنوع زبانی جهانی کمک کنیم.