در عصر دیجیتال، داده‌ها به مثابه سوخت برای موتور هوش مصنوعی عمل می‌کنند و حوزه «پردازش زبان طبیعی» (Natural Language Processing – NLP) نیز از این قاعده مستثنی نیست. با این حال، توزیع این داده‌ها به شدت ناعادلانه است. در حالی که زبان‌هایی مانند انگلیسی، چینی و اسپانیایی از منابع متنی فراوانی برخوردارند، اکثریت قریب به اتفاق زبان‌های جهان با پدیده‌ای به نام «شکاف دیجیتال زبانی» یا کمبود منابع مواجه هستند. این کمبود، توسعه فناوری‌های زبانی را برای میلیاردها انسان در سراسر جهان با چالش جدی روبرو کرده است.

مقاله «Multilingual Open Text Release 1: Public Domain News in 44 Languages» که توسط چستر پالن-مایکل، جون کیم و کنستانتین لیگنوس ارائه شده، گامی مهم و عملی برای پر کردن این شکاف است. این پژوهش، یک مجموعه داده جدید و عظیم به نام Multilingual Open Text (MOT) را معرفی می‌کند که شامل متون خبری در ۴۴ زبان مختلف است. اهمیت این کار نه تنها در مقیاس بزرگ آن، بلکه در تمرکز ویژه بر زبان‌های کم‌منبع و همچنین در ماهیت کاملاً باز و قانونی آن نهفته است. این پیکره (Corpus) ارزشمند، فرصت‌های بی‌سابقه‌ای را برای پژوهشگران و توسعه‌دهندگان فراهم می‌آورد تا ابزارهای هوشمندتری را برای جوامع زبانی متنوع در سراسر جهان بسازند.

این مقاله حاصل تلاش تیمی از محققان حوزه زبان‌شناسی محاسباتی و پردازش زبان طبیعی است. چستر پالن-مایکل، جون کیم و کنستانتین لیگنوس، نویسندگان این اثر، در زمینه ساخت و مدیریت منابع زبانی فعالیت می‌کنند. کار آن‌ها در چهارچوب گسترده‌تر علم داده و هوش مصنوعی قرار می‌گیرد که هدف آن، توانمندسازی ماشین‌ها برای درک، تفسیر و تولید زبان انسان است.

این پژوهش به طور خاص به یکی از چالش‌های بنیادین این حوزه، یعنی «دسترسی به داده‌های باکیفیت»، می‌پردازد. بدون مجموعه‌داده‌های بزرگ، تمیز و دارای مجوز مناسب، آموزش مدل‌های زبانی پیشرفته یا ساخت سیستم‌های ترجمه ماشینی کارآمد، به‌ویژه برای زبان‌های کمتر رایج، تقریباً غیرممکن است. این مقاله نمونه‌ای برجسته از پژوهش‌هایی است که به جای تمرکز بر الگوریتم‌های جدید، بر ایجاد زیرساخت‌های داده‌ای تمرکز دارند؛ زیرساخت‌هایی که کل جامعه علمی می‌توانند از آن بهره‌مند شوند.

مقاله به معرفی اولین نسخه از پیکره متنی MOT می‌پردازد. این مجموعه داده، حاصل گردآوری متون منتشر شده در وب‌سایت‌های خبری «صدای آمریکا» (Voice of America – VOA) در بازه زمانی ۲۰۰۱ تا ۲۰۲۲ است. از آنجایی که محتوای تولید شده توسط دولت فدرال ایالات متحده در «دامنه عمومی» (Public Domain) قرار دارد، استفاده از این منبع هیچ‌گونه محدودیت قانونی کپی‌رایت را به همراه ندارد.

نسخه اول این پیکره شامل دو بخش اصلی است:

• بیش از ۲.۸ میلیون مقاله کامل خبری: این بخش هسته اصلی مجموعه داده را تشکیل می‌دهد و شامل متون طولانی و غنی برای تحلیل‌های عمیق است.
• بیش از ۱ میلیون قطعه متن کوتاه: این موارد شامل زیرنویس‌های عکس، توضیحات ویدئو و خلاصه‌های کوتاه خبری هستند که برای کاربردهای خاصی مانند تولید خلاصه یا تحلیل تصاویر مفیدند.

یکی از مهم‌ترین ویژگی‌های MOT، پوشش ۴۴ زبان است که بسیاری از آن‌ها در دسته زبان‌های کم‌منبع (low-resource) قرار می‌گیرند. نویسندگان در مقاله به تفصیل فرآیند جمع‌آوری، فیلتر کردن و پردازش داده‌ها را شرح می‌دهند و تاکید می‌کنند که هم خود پیکره (تحت مجوز Creative Commons BY 4.0) و هم نرم‌افزارهای مورد استفاده برای ساخت آن (تحت مجوز MIT) به صورت کاملاً باز منتشر شده‌اند. علاوه بر این، آن‌ها متعهد شده‌اند که این مجموعه داده را به طور منظم با انتشار اسناد جدید به‌روزرسانی کنند.

ایجاد یک پیکره زبانی باکیفیت، فرآیندی چندمرحله‌ای و دقیق است. نویسندگان این مقاله روش‌شناسی شفاف و قابل تکراری را به کار گرفته‌اند که می‌توان آن را در چهار مرحله اصلی خلاصه کرد:

• مرحله اول: گردآوری داده‌ها (Data Collection): تیم تحقیق با استفاده از ابزارهای خزش وب (Web Crawling)، به طور سیستماتیک وب‌سایت‌های مربوط به ۴۴ زبان مختلف صدای آمریکا را بررسی کردند. آن‌ها با بهره‌گیری از نقشه‌های سایت (Sitemaps) و لینک‌های داخلی، URL میلیون‌ها صفحه خبری را شناسایی و محتوای HTML آن‌ها را دانلود کردند.
• مرحله دوم: استخراج و پاک‌سازی محتوا (Content Extraction & Cleaning): صفحات وب خام شامل عناصر اضافی زیادی مانند منوهای ناوبری، تبلیغات، فوتر و اسکریپت‌ها هستند. در این مرحله، با استفاده از الگوریتم‌های تحلیل ساختار HTML، بخش اصلی محتوای هر مقاله (شامل عنوان، تاریخ و متن اصلی) از این عناصر اضافی جدا شد. همچنین، اسناد تکراری شناسایی و حذف شدند تا از افزونگی در پیکره جلوگیری شود.
• مرحله سوم: ساختاردهی و افزودن فراداده (Structuring & Metadata): پس از پاک‌سازی، داده‌ها در یک فرمت استاندارد و ماشین‌خوان (مانند JSON) سازماندهی شدند. برای هر سند، اطلاعات فراداده‌ای مهمی مانند زبان سند، URL اصلی، تاریخ انتشار و عنوان مقاله ذخیره شد. این فراداده‌ها برای پژوهشگرانی که قصد فیلتر کردن یا تحلیل بخش‌های خاصی از پیکره را دارند، بسیار حیاتی است.
• مرحله چهارم: مجوزدهی و انتشار (Licensing & Release): این مرحله یکی از نقاط قوت کلیدی پروژه است. نویسندگان اطمینان حاصل کردند که منبع اصلی داده‌ها (VOA) در دامنه عمومی قرار دارد. سپس، پیکره نهایی را تحت مجوز CC BY 4.0 منتشر کردند که به کاربران اجازه می‌دهد آزادانه از داده‌ها استفاده، آن‌ها را توزیع و حتی برای مقاصد تجاری ویرایش کنند، تنها به شرط ذکر منبع. کدهای مورد استفاده برای این فرآیند نیز با مجوز MIT منتشر شد تا شفافیت و تکرارپذیری پژوهش تضمین شود.

«یافته» اصلی این مقاله، خودِ پیکره MOT با ویژگی‌های منحصربه‌فرد آن است. این یافته‌ها را می‌توان در چند بخش دسته‌بندی کرد:

• مقیاس و تنوع بی‌نظیر: ارائه یک مجموعه داده با بیش از ۳.۸ میلیون سند متنی در ۴۴ زبان، خود یک دستاورد بزرگ است. این مقیاس، امکان آموزش مدل‌های زبانی عمیق و پیچیده را فراهم می‌کند. تنوع زبانی آن نیز بسیار قابل توجه است و زبان‌هایی از خانواده‌های مختلف زبانی مانند آفریقایی (مثلاً سومالیایی، اورومو)، آسیایی (مثلاً خمری، برمه‌ای) و اروپایی (مثلاً آلبانیایی، اوکراینی) را پوشش می‌دهد.
• تمرکز بر زبان‌های کم‌منبع: شاید مهم‌ترین ویژگی MOT، توانمندسازی زبان‌هایی باشد که تاکنون از توجه کمتری در دنیای NLP برخوردار بوده‌اند. وجود داده‌های خبری باکیفیت برای زبان‌هایی مانند تیگرینیا، بامبارا یا کینیارواندا، فرصتی طلایی برای محققان این جوامع زبانی است.
• کیفیت و ساختار استاندارد: برخلاف بسیاری از پیکره‌های گردآوری‌شده از وب که پر از نویز و محتوای بی‌کیفیت هستند، MOT به لطف فرآیند دقیق پاک‌سازی، از کیفیت بالایی برخوردار است. ساختار استاندارد و فراداده‌های غنی، کار با آن را برای کاربران نهایی بسیار آسان می‌کند.
• یک منبع زنده و کاملاً باز: تعهد نویسندگان به به‌روزرسانی منظم و مدل مجوزدهی کاملاً باز، MOT را از یک پروژه یک‌باره به یک منبع پایدار و در حال رشد برای جامعه علمی تبدیل کرده است. این رویکرد، اصول علم باز (Open Science) را در عمل به نمایش می‌گذارد.

پیکره MOT پتانسیل ایجاد تحول در طیف گسترده‌ای از کاربردهای پردازش زبان طبیعی را دارد. برخی از مهم‌ترین دستاوردها و کاربردهای بالقوه آن عبارتند از:

• آموزش مدل‌های زبانی (Language Models): این پیکره منبعی عالی برای آموزش مدل‌های زبانی تک‌زبانه برای هر یک از ۴۴ زبان و همچنین مدل‌های چندزبانه قدرتمند مانند mBERT یا XLM-RoBERTa است.
• ترجمه ماشینی (Machine Translation): اگرچه MOT یک پیکره موازی نیست، اما داده‌های تک‌زبانه عظیم آن می‌تواند برای بهبود سیستم‌های ترجمه ماشینی (به‌ویژه در روش‌های بدون نظارت یا نیمه‌نظارت‌شده) بسیار مفید باشد.
• تحلیل محتوا و طبقه‌بندی متن: محتوای خبری این پیکره می‌تواند برای آموزش مدل‌های طبقه‌بندی موضوعات (مثلاً ورزشی، سیاسی، اقتصادی)، تحلیل احساسات، و شناسایی اخبار جعلی به کار رود.
• شناسایی موجودیت‌های نام‌دار (NER): متون خبری سرشار از اسامی افراد، سازمان‌ها و مکان‌ها هستند. از این رو، MOT منبعی ایده‌آل برای توسعه سیستم‌های NER برای زبان‌های کم‌منبع است.
• پژوهش‌های علوم اجتماعی و زبان‌شناسی: این مجموعه داده که دو دهه از تاریخ جهان را پوشش می‌دهد، می‌تواند توسط جامعه‌شناسان، دانشمندان علوم سیاسی و زبان‌شناسان برای مطالعه تحولات فرهنگی، گفتمان‌های سیاسی و تغییرات زبانی در طول زمان مورد استفاده قرار گیرد.

مقاله معرفی پیکره «متن باز چندزبانه» (MOT) چیزی فراتر از انتشار یک مجموعه داده جدید است؛ این یک بیانیه قدرتمند در راستای ساختن یک اکوسیستم هوش مصنوعی عادلانه‌تر و فراگیرتر است. چستر پالن-مایکل و همکارانش با ارائه یک منبع عظیم، باکیفیت، چندزبانه و کاملاً باز، یکی از بزرگترین موانع پیش روی پیشرفت فناوری‌های زبانی را برای ده‌ها جامعه زبانی برطرف کرده‌اند.

MOT با تکیه بر داده‌های دامنه عمومی و با پیروی از اصول علم باز، مدلی exemplar برای پروژه‌های آینده در زمینه ایجاد منابع زبانی ارائه می‌دهد. این پیکره نه تنها به پژوهشگران ابزاری قدرتمند برای اکتشافات علمی می‌بخشد، بلکه توسعه‌دهندگان را در سراسر جهان قادر می‌سازد تا محصولاتی را بسازند که به زبان مردم محلی صحبت می‌کنند. در نهایت، تلاش‌هایی از این دست به تحقق این هدف کمک می‌کنند که مزایای هوش مصنوعی به طور مساوی در میان تمام فرهنگ‌ها و زبان‌های جهان توزیع شود.