در عصر حاضر، مدل‌های زبانی مبتنی بر معماری ترانسفورمر (Transformer)، نقش محوری در پیشرفت حوزه‌ی پردازش زبان طبیعی (NLP) ایفا می‌کنند. این مدل‌ها با توانایی شگفت‌انگیز خود در درک و تولید زبان انسانی، توانسته‌اند کاربردهای متنوعی از جمله ترجمه ماشینی، خلاصه‌سازی متن، پاسخ به پرسش و تحلیل احساسات را متحول سازند. با این حال، این پیشرفت‌ها عمدتاً بر روی زبان‌های پرکاربرد و با منابع فراوان متمرکز بوده‌اند. زبانی غنی و متنوع که در سراسر جهان توسط جوامع بومی تکلم می‌شود، اغلب از این پیشرفت‌ها محروم مانده است. کمبود داده‌های آموزشی و مدل‌های از پیش آموزش‌دیده برای این زبان‌ها، شکاف دیجیتالی عمیقی را ایجاد کرده و مانع از بهره‌مندی این جوامع از مزایای فناوری‌های نوین زبانی می‌شود. مقاله حاضر با معرفی مدل IndT5، گامی بلند در جهت رفع این نقیصه برداشته است. IndT5 اولین مدل ترانسفورمر متن به متن است که به طور خاص برای ده زبان بومی طراحی و آموزش داده شده است، که آن را به یک دستاورد علمی و اجتماعی قابل توجه تبدیل می‌کند.

این پژوهش توسط تیمی از محققان برجسته در حوزه پردازش زبان طبیعی، شامل El Moatez Billah Nagoudi, Wei-Rui Chen, Muhammad Abdul-Mageed, و Hasan Cavusogl انجام شده است. زمینه کاری نویسندگان بر روی مدل‌های زبانی بزرگ، پردازش زبان‌های کم‌منبع، و کاربردهای NLP در جوامع مختلف متمرکز است. این مقاله در دسته «محاسبات و زبان» (Computation and Language) طبقه‌بندی می‌شود که نشان‌دهنده تمرکز بر جنبه‌های محاسباتی و الگوریتمی در پردازش زبان طبیعی است. تحقیق در زمینه زبان‌های بومی اهمیت ویژه‌ای دارد، زیرا به حفظ میراث فرهنگی، توانمندسازی جوامع، و ارتقای دسترسی عادلانه به اطلاعات کمک می‌کند. ایجاد مدل‌های زبانی برای این زبان‌ها، نه تنها از نظر فنی چالشی بزرگ است، بلکه پیامدهای اجتماعی و فرهنگی قابل توجهی نیز دارد.

چکیده مقاله بر نکته کلیدی زیر تأکید دارد: «مدل‌های زبانی ترانسفورمر به اجزای اساسی خطوط لوله پردازش زبان طبیعی تبدیل شده‌اند. اگرچه چندین مدل ترانسفورمر برای زبان‌های بسیاری معرفی شده‌اند، اما کمبود مدل‌هایی که برای زبان‌های کم‌منبع و بومی از پیش آموزش دیده‌اند، احساس می‌شود. در این کار، ما IndT5 را معرفی می‌کنیم، اولین مدل زبانی ترانسفورمر برای زبان‌های بومی. برای آموزش IndT5، ما IndCorpus را ایجاد کردیم – یک مجموعه داده جدید برای ده زبان بومی و اسپانیایی. همچنین، کاربرد IndT5 را در ترجمه ماشینی با بررسی رویکردهای مختلف برای ترجمه بین اسپانیایی و زبان‌های بومی، به عنوان بخشی از مشارکت ما در وظیفه اشتراکی AmericasNLP 2021 در زمینه ترجمه ماشینی باز، ارائه می‌دهیم. IndT5 و IndCorpus به صورت عمومی برای تحقیقات در دسترس هستند.»

به طور خلاصه، این مقاله دو دستاورد اصلی دارد:

• معرفی IndT5: یک مدل زبانی قدرتمند و نوآورانه از خانواده T5 که برای پردازش زبان‌های بومی بهینه شده است.
• ساخت IndCorpus: یک مجموعه داده منحصر به فرد و جامع که شامل متونی از ده زبان بومی مختلف و زبان اسپانیایی است.

این تلاش‌ها پاسخی مستقیم به نیاز مبرم به ابزارهای پردازش زبان طبیعی برای زبان‌هایی است که تاکنون نادیده گرفته شده‌اند.

برای دستیابی به اهداف خود، نویسندگان از یک رویکرد چندوجهی و دقیق پیروی کرده‌اند که شامل جمع‌آوری داده، پیش‌پردازش، و آموزش مدل است.

الف. ساخت IndCorpus:

ایجاد یک مجموعه داده مناسب، اولین و یکی از حیاتی‌ترین گام‌ها برای آموزش مدل‌های زبانی، به‌ویژه برای زبان‌های کم‌منبع، محسوب می‌شود. تیم پژوهشی، مجموعه داده‌ای جدید به نام IndCorpus را گردآوری و سازماندهی کرده است. این مجموعه داده شامل متونی به زبان‌های زیر است:

• ده زبان بومی مختلف (نام دقیق زبان‌ها در مقاله اصلی ذکر شده است و معمولاً زبان‌هایی از قاره آمریکا هستند).
• زبان اسپانیایی، که به عنوان زبانی با منابع نسبتاً بیشتر و به عنوان زبان مبنا یا هدف برای وظایف ترجمه عمل می‌کند.

فرآیند جمع‌آوری این داده‌ها نیازمند تلاش زیادی بوده است، چرا که دسترسی به متون دیجیتال برای بسیاری از زبان‌های بومی محدود است. این داده‌ها از منابع متنوعی مانند متون منتشر شده، منابع آنلاین، و همکاری با جوامع زبانی استخراج و یکپارچه شده‌اند.

ب. پیش‌پردازش داده‌ها:

داده‌های جمع‌آوری شده نیازمند پاکسازی و استانداردسازی هستند تا برای آموزش مدل‌های یادگیری عمیق مناسب باشند. این فرآیند معمولاً شامل موارد زیر است:

• حذف نویز و داده‌های نامربوط.
• توکنایز کردن (Tokenization) متن، یعنی تقسیم متن به واحدهای کوچکتر (کلمات یا زیرکلمات).
• نرمال‌سازی متن (مانند تبدیل به حروف کوچک، حذف علائم نگارشی خاص).
• در صورت نیاز، ترجمه یا هم‌ترازی (Alignment) جملات برای وظایف نظارت شده مانند ترجمه ماشینی.

ج. معماری مدل IndT5:

IndT5 بر پایه معماری محبوب T5 (Text-to-Text Transfer Transformer) بنا شده است. T5 یک مدل متن به متن است که تمام وظایف NLP را به عنوان تبدیل یک دنباله متنی به دنباله متنی دیگر در نظر می‌گیرد. این بدان معناست که هر وظیفه‌ای، از ترجمه گرفته تا خلاصه‌سازی، با ارائه یک ورودی متنی (که اغلب با یک پیشوند مشخص برای تعیین وظیفه همراه است) و تولید یک خروجی متنی انجام می‌شود. برای مثال، برای ترجمه یک جمله از زبان A به زبان B، ورودی مدل می‌تواند به صورت «Translate A to B: [جمله به زبان A]» باشد و خروجی، جمله ترجمه شده به زبان B خواهد بود.

د. آموزش مدل:

مدل IndT5 با استفاده از مجموعه داده IndCorpus و با بهره‌گیری از تکنیک‌های آموزش ترانسفورمر، از پیش آموزش داده شده است. این مرحله شامل آموزش مدل بر روی حجم عظیمی از متن است تا الگوهای زبانی، گرامر، و معناشناسی زبان‌های مورد نظر را بیاموزد. سپس، مدل می‌تواند برای وظایف خاص‌تر (مانند ترجمه ماشینی) با استفاده از داده‌های برچسب‌گذاری شده، تنظیم دقیق (Fine-tune) شود.

ه. ارزیابی ترجمه ماشینی:

به عنوان بخشی از مشارکت در AmericasNLP 2021، مدل IndT5 برای وظیفه ترجمه ماشینی بین اسپانیایی و زبان‌های بومی مورد ارزیابی قرار گرفته است. محققان رویکردهای مختلفی را برای این منظور بررسی کرده‌اند، که احتمالاً شامل آموزش مستقیم مدل برای ترجمه، یا استفاده از تکنیک‌های چندزبانه (Multilingual) است.

نتایج حاصل از این پژوهش، تأثیر قابل توجهی بر حوزه پردازش زبان طبیعی برای زبان‌های کم‌منبع و بومی داشته است:

• موفقیت در آموزش IndT5: اولین مدل ترانسفورمر متن به متن برای مجموعه‌ای از زبان‌های بومی با موفقیت آموزش دیده است. این دستاورد نشان می‌دهد که معماری‌های قدرتمند ترانسفورمر، حتی در مواجهه با کمبود منابع، قابل انطباق و کارآمد هستند.
• ارزش IndCorpus: ایجاد IndCorpus یک گام حیاتی است. این مجموعه داده، منبعی ارزشمند برای تحقیقات آینده در زمینه زبان‌های بومی فراهم می‌کند و مانع اصلی کمبود داده را برطرف می‌سازد.
• عملکرد در ترجمه ماشینی: IndT5 توانایی قابل قبولی در وظایف ترجمه ماشینی بین زبان اسپانیایی و زبان‌های بومی از خود نشان داده است. این نشان می‌دهد که مدل نه تنها قادر به درک زبان‌های بومی است، بلکه می‌تواند ارتباط معناداری بین آن‌ها و زبان‌های پرکاربرد برقرار کند.
• قابلیت تعمیم: با توجه به ماهیت مدل‌های ترانسفورمر متن به متن، IndT5 پتانسیل بالایی برای استفاده در سایر وظایف NLP مانند تولید متن، خلاصه‌سازی، و پاسخ به پرسش برای زبان‌های بومی دارد.

به طور کلی، این یافته‌ها نشان می‌دهند که با سرمایه‌گذاری و تلاش در زمینه جمع‌آوری داده و آموزش مدل، می‌توان شکاف دیجیتالی زبانی را برای زبان‌های کم‌منبع پر کرد.

دستاورد اصلی این مقاله، توسعه مدل IndT5 و مجموعه داده IndCorpus است که پیامدهای گسترده‌ای برای جوامع زبانی بومی و حوزه NLP دارد:

• توانمندسازی جوامع بومی: دسترسی به ابزارهای پردازش زبان طبیعی به زبان مادری، امکان مشارکت بهتر این جوامع در فضای دیجیتال را فراهم می‌کند. این شامل دسترسی به اطلاعات، خدمات آنلاین، و امکان بیان هویت فرهنگی از طریق فناوری است.
• حفظ زبان و میراث فرهنگی: با دیجیتالی شدن زبان‌های بومی از طریق مدل‌های زبانی، این زبان‌ها کمتر در معرض خطر فراموشی قرار می‌گیرند. این مدل‌ها می‌توانند به عنوان ابزاری برای مستندسازی، آموزش، و انتقال زبان به نسل‌های آینده عمل کنند.
• پیشبرد تحقیقات NLP: IndT5 و IndCorpus دریچه‌ای جدید به روی تحقیقات در زمینه زبان‌های کم‌منبع باز می‌کنند. این منابع امکان بررسی چالش‌های زبانی منحصر به فرد این زبان‌ها و توسعه روش‌های نوآورانه برای پردازش آن‌ها را فراهم می‌آورند.
• ترجمه ماشینی: مهم‌ترین کاربرد عملی IndT5 که در این مقاله مورد تأکید قرار گرفته، ترجمه ماشینی است. این امر می‌تواند ارتباط بین گویشوران زبان‌های بومی و سایر جوامع را تسهیل کند، دسترسی به دانش جهانی را افزایش دهد، و در خدمات عمومی مانند بهداشت و آموزش یاری‌رسان باشد. تصور کنید متونی پزشکی یا آموزشی به زبان اسپانیایی به راحتی به زبان مادری یک جامعه بومی ترجمه شود؛ این تأثیر مستقیمی بر زندگی افراد خواهد داشت.
• ایجاد مدل‌های چندزبانه: IndT5 می‌تواند به عنوان پایه‌ای برای ساخت مدل‌های زبانی بزرگتر و چندزبانه که طیف وسیع‌تری از زبان‌های بومی را پوشش می‌دهند، مورد استفاده قرار گیرد.

در دسترس قرار دادن عمومی IndT5 و IndCorpus، به منظور ترویج تحقیقات و همکاری، یکی از مهم‌ترین دستاوردهای این پروژه است که تضمین‌کننده اثرگذاری بلندمدت آن خواهد بود.

مقاله «IndT5: A Text-to-Text Transformer for 10 Indigenous Languages» نقطه‌ی عطفی در تلاش برای فراگیر کردن پردازش زبان طبیعی محسوب می‌شود. این پژوهش با معرفی مدل IndT5 و مجموعه داده IndCorpus، به طور موثری به شکاف موجود در پوشش زبان‌های بومی توسط مدل‌های زبانی مدرن پاسخ داده است. چالش پردازش زبان‌های با منابع کم، سال‌ها مانعی بر سر راه تحقق کامل پتانسیل NLP برای همه زبان‌ها بوده است. IndT5 با موفقیت نشان داده است که معماری‌های پیشرفته مانند ترانسفورمر، با داده‌های مناسب، قادر به یادگیری و پردازش مؤثر زبان‌های بومی نیز هستند.

دستاورد اصلی این مقاله، فراتر از یک نوآوری فنی صرف، پاسخی است به نیاز جوامع بومی برای داشتن ابزارهایی که زبان و فرهنگشان را در عصر دیجیتال حفظ و تقویت کند. توانایی ترجمه ماشینی به و از زبان‌های بومی، دسترسی به اطلاعات را دموکراتیزه کرده و ارتباط بین فرهنگی را بهبود می‌بخشد.

آینده این حوزه با گسترش IndT5 و مدل‌های مشابه، روشن به نظر می‌رسد. انتظار می‌رود شاهد افزایش تحقیقات در زمینه زبان‌های بومی، توسعه مجموعه‌های داده بزرگتر و با کیفیت‌تر، و در نهایت، ایجاد ابزارهایی باشیم که به طور واقعی زبان‌ها و فرهنگ‌های متنوع بشری را در بر گیرند. انتشار عمومی IndT5 و IndCorpus، تعهد این پژوهشگران به پیشبرد علم و خدمت به جامعه را نشان می‌دهد و امیدواریم الهام‌بخش تحقیقات بیشتری در این زمینه حیاتی باشد.