در عصر دیجیتال، فناوری‌های پردازش زبان طبیعی (NLP) به بخشی جدایی‌ناپذیر از زندگی روزمره تبدیل شده‌اند؛ از دستیارهای صوتی و مترجم‌های خودکار گرفته تا سیستم‌های پیشنهاددهنده محتوا. با این حال، این پیشرفت‌ها به طور نابرابر توزیع شده‌اند و شکاف عمیقی بین زبان‌های پرمنابع (مانند انگلیسی) و زبان‌های کم‌نماینده یا بسیار کم‌منابع (Underrepresented and Extremely Low-Resource) ایجاد کرده‌اند. این نابرابری دیجیتال نه تنها دسترسی میلیون‌ها نفر به فناوری‌های مدرن را محدود می‌کند، بلکه بقای فرهنگی و زبانی جوامع آن‌ها را نیز به خطر می‌اندازد.

مقاله NusaWrites به طور مستقیم به این چالش حیاتی می‌پردازد. این تحقیق یک روش‌شناسی نوین برای ساخت پیکره‌های زبانی (Corpora) باکیفیت برای زبان‌های محلی اندونزی ارائه می‌دهد و نشان می‌دهد که چگونه می‌توان داده‌هایی تولید کرد که از نظر واژگانی غنی و از لحاظ فرهنگی مرتبط باشند. اهمیت این کار فراتر از مرزهای اندونزی است و الگویی برای توانمندسازی زبان‌های کم‌منابع در سراسر جهان فراهم می‌کند تا آن‌ها نیز بتوانند از مزایای هوش مصنوعی بهره‌مند شوند.

این مقاله حاصل همکاری گسترده تیمی از پژوهشگران برجسته به رهبری ساموئل کاهیاویجایا (Samuel Cahyawijaya) و همکارانش در پروژه IndoNLP است. این تیم بزرگ، که شامل متخصصانی از حوزه‌های مختلف هوش مصنوعی و زبان‌شناسی محاسباتی است، نشان‌دهنده یک تلاش جمعی و متمرکز برای پیشبرد NLP در منطقه جنوب شرقی آسیا، به ویژه اندونزی، است. اندونزی با بیش از ۷۰۰ زبان زنده، یک آزمایشگاه طبیعی بی‌نظیر برای مطالعه چالش‌های زبان‌های کم‌منابع محسوب می‌شود.

این تحقیق در تقاطع دو حوزه کلیدی علوم کامپیوتر قرار دارد: زبان‌شناسی محاسباتی (Computation and Language) و هوش مصنوعی (Artificial Intelligence). هدف اصلی آن، دموکراتیزه کردن دسترسی به فناوری‌های زبانی و توسعه مدل‌هایی است که بتوانند تنوع زبانی و فرهنگی جهان را درک کرده و به آن خدمت کنند.

محور اصلی مقاله NusaWrites، رفع محدودیت‌های روش‌های فعلی برای جمع‌آوری داده‌های زبانی برای زبان‌های کم‌منابع است. نویسندگان استدلال می‌کنند که روش‌های رایج مانند خراش وب (Web Scraping) و ترجمه اسناد از زبان‌های پرمنابع، با وجود کارایی و هزینه پایین، منجر به تولید پیکره‌هایی با مشکلات جدی می‌شوند. این مشکلات شامل تنوع واژگانی محدود (زیرا محتوای وب اغلب رسمی و تکراری است) و عدم ارتباط فرهنگی (زیرا مفاهیم ترجمه‌شده ممکن است با تجربیات و فرهنگ بومی گویشوران همخوانی نداشته باشد) هستند.

برای غلبه بر این چالش‌ها، پژوهشگران یک مطالعه موردی بر روی زبان‌های محلی اندونزی انجام دادند و سه رویکرد را با یکدیگر مقایسه کردند: خراش وب، ترجمه انسانی، و روش پیشنهادی خودشان یعنی نگارش پاراگراف توسط گویشوران بومی. یافته‌ها به وضوح نشان داد که مجموعه داده‌های تولید شده از طریق نگارش بومی، از نظر کیفیت، تنوع کلمات و غنای فرهنگی برتر هستند.

در نهایت، این مقاله معیار (Benchmark) جدیدی به نام NusaWrites را معرفی می‌کند که شامل داده‌هایی برای ۱۲ زبان کم‌نماینده در اندونزی است. این مجموعه داده به عنوان یک منبع ارزشمند برای آموزش و ارزیابی مدل‌های زبانی بزرگ (LLMs) عمل می‌کند و نیاز فوری به توسعه مدل‌هایی که این زبان‌ها را به طور کامل پشتیبانی کنند، برجسته می‌سازد.

۱. خراش وب (Online Scraping):

• فرآیند: در این روش، ربات‌های نرم‌افزاری به طور خودکار وب‌سایت‌ها، وبلاگ‌ها، و منابع خبری آنلاین را برای جمع‌آوری متون به زبان مورد نظر جستجو می‌کنند.
• مزایا: این روش سریع، ارزان و قادر به جمع‌آوری حجم عظیمی از داده‌ها است.
• معایب: داده‌های حاصل اغلب پر از نویز (مانند کدهای HTML)، تکراری و از نظر سبک زبانی محدود به زبان رسمی یا خبری هستند. مهم‌تر از آن، این متون ممکن است بازتاب‌دهنده زبان محاوره‌ای و فرهنگ روزمره مردم نباشند.

۲. ترجمه انسانی (Human Translation):

• فرآیند: در این رویکرد، متون استاندارد از یک زبان پرمنبع (مانند انگلیسی) توسط مترجمان انسانی به زبان مقصد (زبان کم‌منابع) برگردانده می‌شود.
• مزایا: متن حاصل از نظر دستوری صحیح و از نظر موضوعی کنترل‌شده است.
• معایب: این روش به شدت تحت تأثیر ساختارها و مفاهیم زبان مبدأ قرار می‌گیرد (Source Language Bias). اصطلاحات، ضرب‌المثل‌ها و مفاهیم فرهنگی بومی در این فرآیند از بین می‌روند. برای مثال، ترجمه عبارت «he is feeling blue» به یک زبان دیگر ممکن است معنای اصلی خود را از دست بدهد.

۳. نگارش پاراگراف توسط گویشوران بومی (Paragraph Writing by Native Speakers):

• فرآیند: این روش نوآورانه، قلب مقاله NusaWrites است. از گویشوران بومی خواسته می‌شود تا در مورد موضوعات مشخصی (مانند غذاهای محلی، جشنواره‌ها، یا خاطرات کودکی) پاراگراف‌هایی را به زبان مادری خود بنویسند.
• مزایا: این رویکرد داده‌هایی تولید می‌کند که اصیل، غنی از نظر فرهنگی، و دارای تنوع واژگانی بالا هستند. زبان مورد استفاده، طبیعی و بازتاب‌دهنده نحوه واقعی ارتباط مردم است. این متون حاوی کلمات، اصطلاحات و ارجاعات فرهنگی هستند که هرگز در فرآیند ترجمه یا خراش وب یافت نمی‌شوند.
• معایب: این روش کندتر و پرهزینه‌تر از دو روش دیگر است، اما کیفیت بالای داده‌ها این هزینه را توجیه می‌کند.

• برتری بی‌چون‌وچرای نگارش بومی: مجموعه داده‌های تولید شده توسط گویشوران بومی به طور قابل توجهی در معیارهای تنوع واژگانی (Lexical Diversity) و محتوای فرهنگی (Cultural Content) عملکرد بهتری داشتند. به عنوان مثال، در حالی که متون ترجمه‌شده ممکن است از کلمه عمومی «غذا» استفاده کنند، متون بومی به اسامی خاص غذاهای محلی مانند “Gudeg” یا “Rendang” اشاره می‌کنند که برای درک فرهنگی ضروری است.
• کشف ضعف مدل‌های زبانی بزرگ چندزبانه: نویسندگان با استفاده از مجموعه داده NusaWrites، مدل‌های زبانی بزرگ موجود مانند mBERT و XLM-R را آزمودند. نتایج نشان داد که این مدل‌ها، با وجود ادعای چندزبانگی، در درک و پردازش این زبان‌های کم‌نماینده عملکرد بسیار ضعیفی دارند. این یافته تأیید می‌کند که صرفاً آموزش مدل‌ها بر روی داده‌های خراش‌شده از وب برای دستیابی به پوشش زبانی واقعی کافی نیست.
• معرفی معیار NusaWrites: این مقاله یک مجموعه داده و معیار استاندارد برای ۱۲ زبان اندونزیایی (از جمله زبان‌های جاوه‌ای، سوندایی، مینانگکابویی و بوگینی) ارائه می‌دهد. این منبع به جامعه پژوهشی اجازه می‌دهد تا عملکرد مدل‌های جدید را به روشی استاندارد و قابل مقایسه ارزیابی کنند و توسعه هدفمند فناوری برای این زبان‌ها را تسریع بخشند.

مقاله NusaWrites دستاوردهای ملموس و کاربردهای گسترده‌ای دارد:

• توسعه ابزارهای NLP بومی: با استفاده از پیکره باکیفیت NusaWrites، می‌توان ابزارهایی مانند غلط‌یاب املایی، تکمیل خودکار متن، و سیستم‌های ترجمه ماشینی را برای زبان‌های محلی اندونزی و سایر زبان‌های مشابه توسعه داد.
• حفظ میراث فرهنگی دیجیتال: این پروژه با مستندسازی و ایجاد منابع دیجیتال برای زبان‌هایی که بسیاری از آنها در معرض خطر هستند، به حفظ تنوع زبانی و فرهنگی جهان کمک می‌کند.
• ارائه یک نقشه راه جهانی: روش‌شناسی “نگارش توسط گویشوران بومی” می‌تواند به عنوان یک الگوی موفق برای جوامع زبانی دیگر در سراسر جهان به کار گرفته شود تا پیکره‌های باکیفیت خود را تولید کنند.
• پیش به سوی هوش مصنوعی عادلانه‌تر: این تحقیق گامی مهم در جهت کاهش شکاف دیجیتال و اطمینان از این است که پیشرفت‌های هوش مصنوعی به نفع همه بشریت باشد، نه فقط گویشوران زبان‌های غالب.

مقاله NusaWrites بیش از یک مطالعه فنی در زمینه پردازش زبان طبیعی است؛ این یک بیانیه قدرتمند در مورد اهمیت عدالت زبانی در عصر دیجیتال است. این تحقیق به طور قانع‌کننده‌ای نشان می‌دهد که برای ساختن فناوری‌های زبانی معنادار و مفید برای جوامع کم‌نماینده، نمی‌توان به روش‌های ساده و کم‌هزینه مانند خراش وب بسنده کرد. سرمایه‌گذاری در روش‌های جامعه‌محور و مبتنی بر مشارکت گویشوران بومی، مانند نگارش مستقیم، برای تولید داده‌های اصیل و غنی از نظر فرهنگی امری ضروری است.

با ارائه مجموعه داده و معیار NusaWrites، نویسندگان نه تنها یک منبع ارزشمند برای جامعه پژوهشی فراهم کرده‌اند، بلکه مسیری روشن برای توانمندسازی زبان‌های کم‌منابع در سراسر جهان ترسیم نموده‌اند. این کار یادآوری می‌کند که آینده هوش مصنوعی باید چندزبانه، فراگیر و منعکس‌کننده تنوع شگفت‌انگیز زبان‌ها و فرهنگ‌های انسانی باشد.