معرفی مقاله و اهمیت آن

در دهه‌های اخیر، حوزه پردازش زبان طبیعی (NLP) پیشرفت‌های چشمگیری را تجربه کرده است. این پیشرفت‌ها، که عمدتاً با ظهور مدل‌های زبانی بزرگ و معماری‌های پیچیده‌ای نظیر ترنسفورمرها تسریع شده‌اند، منجر به بهبود بی‌سابقه در کاربردهایی مانند ترجمه ماشینی، خلاصه‌سازی متن، و تحلیل احساسات شده‌اند. با این حال، باید اذعان داشت که بخش عمده‌ای از این موفقیت‌ها در مورد زبان‌های “پرمنابع” نظیر انگلیسی، چینی و اسپانیایی به دست آمده است که دارای پیکره‌های متنی عظیم و منابع محاسباتی فراوان هستند.

متأسفانه، همین سطح از پیشرفت برای زبان‌های “کم‌منبع” که اطلاعات زبانی و داده‌های آموزشی کمتری برای آن‌ها وجود دارد، محقق نشده است. زبان‌های کم‌منبع، که اغلب شامل زبان‌های بومی و محلی بسیاری در سراسر جهان می‌شوند، از نظر دسترسی به ابزارهای NLP و مدل‌های زبانی قدرتمند، در حاشیه قرار گرفته‌اند. این شکاف نه تنها مانع از توسعه فناوری‌های زبانی برای میلیون‌ها نفر از گویشوران این زبان‌ها می‌شود، بلکه به طور بالقوه به حفظ و بقای این زبان‌ها در عصر دیجیتال نیز آسیب می‌رساند.

مقاله “PuoBERTa: آموزش و ارزیابی یک مدل زبانی تصفیه‌شده برای زبان سِت‌سوانا” دقیقاً به همین چالش اساسی می‌پردازد. این پژوهش با معرفی PuoBERTa، یک مدل زبانی ماسک‌شده (Masked Language Model) که به طور خاص برای زبان سِت‌سوانا (Setswana) آموزش دیده است، گامی مهم در جهت پر کردن این شکاف برمی‌دارد. سِت‌سوانا یک زبان بانتو است که در جنوب آفریقا صحبت می‌شود و مانند بسیاری از زبان‌های قاره آفریقا، با کمبود منابع دیجیتالی و ابزارهای NLP مواجه است. اهمیت این کار نه تنها در توسعه ابزارهای کاربردی برای گویشوران سِت‌سوانا است، بلکه در ارائه یک رویکرد و الگوی موفق برای توانمندسازی سایر زبان‌های کم‌منبع نیز نهفته است.

هدف اصلی این مقاله، نه تنها ارائه یک مدل زبانی کارآمد برای سِت‌سوانا است، بلکه نمایش امکان‌پذیری و کارایی ایجاد منابع با کیفیت بالا و مدل‌های تخصصی برای زبان‌هایی است که تاکنون توجه کافی به آن‌ها نشده است. این رویکرد می‌تواند الهام‌بخش پژوهشگران و مهندسان برای تمرکز بیشتر بر روی تنوع زبانی جهان و تضمین حضور تمامی زبان‌ها در اکوسیستم دیجیتال باشد.

نویسندگان و زمینه تحقیق

این پژوهش توسط تیمی از محققان برجسته شامل Vukosi Marivate، Moseli Mots’Oehli، Valencia Wagner، Richard Lastrucci، و Isheanesu Dzingirai انجام شده است. این گروه از نویسندگان احتمالاً ترکیبی از تخصص‌ها در زمینه پردازش زبان طبیعی، یادگیری ماشین، هوش مصنوعی، و زبان‌شناسی محاسباتی آفریقایی را دارا هستند. وجود چندین محقق در این زمینه نشان‌دهنده یک تلاش مشترک و چندرشته‌ای است که برای مقابله با چالش‌های پیچیده مربوط به زبان‌های کم‌منبع ضروری است.

زمینه تحقیق این مقاله عمیقاً ریشه در تلاش‌های جهانی برای دموکراتیزه کردن فناوری NLP و گسترش دسترسی آن به تمام زبان‌های بشری دارد. در سال‌های اخیر، جامعه NLP توجه فزاینده‌ای به زبان‌های کم‌منبع نشان داده است، با این باور که هیچ زبانی نباید به دلیل کمبود منابع دیجیتالی، از مزایای پیشرفت‌های فناوری محروم بماند. این تلاش‌ها شامل ایجاد پیکره‌های متنی جدید، توسعه روش‌های انتقال یادگیری (transfer learning) برای استفاده از دانش از زبان‌های پرمنبع، و آموزش مدل‌های زبانی از ابتدا برای زبان‌های خاص می‌شود.

این مقاله به طور خاص بر زبان سِت‌سوانا تمرکز دارد، که یک زبان بانتو با بیش از ۸ میلیون گویشور در بوتسوانا، آفریقای جنوبی، زیمبابوه و نامیبیا است. با وجود تعداد قابل توجهی از گویشوران، سِت‌سوانا مانند بسیاری از زبان‌های منطقه، با کمبود شدید منابع دیجیتالی مواجه است. این فقدان شامل پیکره‌های متنی بزرگ، دیکشنری‌های جامع، ابزارهای برچسب‌گذاری (مانند برچسب‌گذاری اجزای کلام یا POS tagging) و مدل‌های زبانی از پیش‌آموزش‌دیده می‌شود. پژوهشگران در این مقاله، با آگاهی از این کمبودها، به دنبال ایجاد یک پایه قوی برای توسعه NLP در این زبان هستند، با امید به اینکه این تلاش‌ها به پله‌ای برای کارهای آینده و الگوبرداری برای سایر زبان‌های آفریقایی تبدیل شود.

چکیده و خلاصه محتوا

چکیده مقاله به وضوح شکاف موجود در حوزه پردازش زبان طبیعی (NLP) بین زبان‌های پرمنبع (مانند انگلیسی) و زبان‌های کم‌منبع (مانند سِت‌سوانا) را برجسته می‌کند. در پاسخ به این شکاف، پژوهشگران مدل PuoBERTa را معرفی می‌کنند که یک مدل زبانی ماسک‌شده (Masked Language Model) سفارشی‌سازی شده و به طور خاص برای زبان سِت‌سوانا آموزش دیده است.

محتوای اصلی مقاله را می‌توان در چند گام کلیدی خلاصه کرد:

• جمع‌آوری و آماده‌سازی پیکره زبانی: یکی از مهم‌ترین چالش‌ها برای زبان‌های کم‌منبع، دسترسی به داده‌های متنی با کیفیت است. پژوهشگران توضیح می‌دهند که چگونه متن‌های تک‌زبانه متنوعی را برای سِت‌سوانا جمع‌آوری، تصفیه و آماده‌سازی کرده‌اند تا یک پیکره (corpus) با کیفیت بالا برای آموزش PuoBERTa ایجاد شود. این فرایند شامل مراحل دقیقی از پاک‌سازی داده‌ها، حذف نویز و تضمین تنوع موضوعی برای پوشش جنبه‌های مختلف زبان است.
• ساخت مدل PuoBERTa: بر اساس پیکره متنی تهیه شده، مدل PuoBERTa به عنوان یک مدل زبانی ماسک‌شده توسعه یافته است. این مدل با پیش‌بینی کلمات ماسک‌شده در یک جمله، قادر به یادگیری الگوهای زبانی، گرامر، و معنای کلمات در سِت‌سوانا می‌شود. این معماری به مدل اجازه می‌دهد تا یک نمایش معنایی غنی از کلمات و جملات ایجاد کند که برای بسیاری از وظایف NLP قابل استفاده است.
• ارزیابی مدل: اثربخشی PuoBERTa در چندین وظیفه کلیدی NLP ارزیابی شده است. این وظایف شامل:
  • برچسب‌گذاری اجزای کلام (Part-of-Speech – POS): شناسایی نقش گرامری کلمات (مانند اسم، فعل، صفت).
  • شناسایی موجودیت‌های نام‌گذاری‌شده (Named Entity Recognition – NER): تشخیص و طبقه‌بندی موجودیت‌هایی مانند نام اشخاص، مکان‌ها و سازمان‌ها در متن.
  • دسته‌بندی اخبار (News Categorisation): تخصیص مقالات خبری به دسته‌های موضوعی مشخص.
• معرفی مجموعه داده جدید: پژوهشگران همچنین یک مجموعه داده جدید برای دسته‌بندی اخبار سِت‌سوانا را معرفی کرده و با استفاده از PuoBERTa، معیارهای اولیه (initial benchmarks) را برای آن ارائه داده‌اند. این اقدام به جامعه پژوهشی کمک می‌کند تا مدل‌های آینده را با یک معیار استاندارد مقایسه کنند.
• اثبات کارایی و مسیرهای آینده: کار انجام شده اثربخشی PuoBERTa را در تقویت قابلیت‌های NLP برای زبان‌های کمتر مورد مطالعه مانند سِت‌سوانا نشان می‌دهد و راه را برای مسیرهای تحقیقاتی آتی در این زمینه هموار می‌کند.

در مجموع، این مقاله یک رویکرد جامع را برای توسعه منابع و مدل‌های NLP برای زبان‌های کم‌منبع ارائه می‌دهد، از جمع‌آوری داده‌ها و آموزش مدل گرفته تا ارزیابی دقیق و ایجاد مجموعه داده‌های جدید.

روش‌شناسی تحقیق

روش‌شناسی به کار گرفته شده در این پژوهش دقیق و چندوجهی است و چالش‌های ذاتی کار با یک زبان کم‌منبع را به خوبی مورد توجه قرار داده است. مراحل کلیدی روش‌شناسی عبارتند از:

۱. جمع‌آوری، تصفیه و آماده‌سازی پیکره متنی

این گام، حیاتی‌ترین بخش برای هر مدل زبانی کم‌منبع است. پژوهشگران برای PuoBERTa، یک پیکره متنی تک‌زبانه متنوع برای سِت‌سوانا ایجاد کردند. این فرایند احتمالاً شامل موارد زیر بوده است:

• جمع‌آوری داده‌ها: گردآوری متن از منابع مختلف و در دسترس، از جمله وب‌سایت‌های خبری، محتوای آموزشی، ادبیات موجود (در صورت وجود نسخه دیجیتال)، اسناد دولتی و سایر متون عمومی که به زبان سِت‌سوانا هستند. چالش اصلی در این مرحله، یافتن حجم کافی از داده‌های با کیفیت است.
• تصفیه (Curation): داده‌های خام اغلب حاوی نویز، خطاهای املایی، قالب‌بندی‌های نامناسب و محتوای تکراری هستند. مرحله تصفیه شامل حذف این موارد، تصحیح خطاهای رایج، و نرمال‌سازی متن برای اطمینان از یکپارچگی زبانی است. این کار به دقت انسانی و ابزارهای نیمه‌خودکار نیاز دارد.
• آماده‌سازی (Preparation): پس از تصفیه، متن‌ها برای آموزش مدل آماده می‌شوند. این شامل توکنایزیشن (tokenization) (تقسیم متن به کلمات یا زیرکلمات)، اعمال رمزگذاری‌های مناسب (مانند Byte Pair Encoding – BPE که معمولاً در مدل‌های ترنسفورمر استفاده می‌شود) و قالب‌بندی نهایی داده‌ها برای ورودی به مدل زبانی است. هدف، ایجاد یک پیکره تمیز، یکنواخت و غنی است که نماینده خوبی از زبان سِت‌سوانا باشد.

۲. آموزش مدل زبانی ماسک‌شده (PuoBERTa)

PuoBERTa یک مدل زبانی ماسک‌شده (Masked Language Model – MLM) است که بر اساس معماری BERT (Bidirectional Encoder Representations from Transformers) یا مشتقات آن طراحی شده است. در آموزش MLM، بخش‌هایی از کلمات یک جمله به طور تصادفی “ماسک” می‌شوند و مدل وظیفه دارد کلمات اصلی ماسک‌شده را بر اساس بقیه متن پیش‌بینی کند. این رویکرد به مدل اجازه می‌دهد تا:

• معنای متنی (Contextual Meaning) کلمات را بیاموزد، یعنی درک کند که یک کلمه بسته به کلمات اطرافش چه معنایی دارد.
• الگوهای گرامری و نحوی زبان سِت‌سوانا را فرا گیرد.
• یک نمایش برداری (Vector Representation) قدرتمند برای هر کلمه و جمله ایجاد کند که می‌تواند به عنوان ویژگی (feature) برای وظایف پایین‌دستی NLP استفاده شود.

آموزش این مدل بر روی پیکره بزرگ و تصفیه شده سِت‌سوانا صورت گرفته، که به آن اجازه می‌دهد ویژگی‌های منحصر به فرد این زبان را به طور عمیق درک کند.

۳. ارزیابی مدل در وظایف NLP

برای سنجش کارایی PuoBERTa، آن را در چندین وظیفه استاندارد NLP مورد ارزیابی قرار دادند:

• برچسب‌گذاری اجزای کلام (POS Tagging): در این وظیفه، به هر کلمه در یک جمله، برچسب گرامری مناسب (مانند Noun برای اسم، Verb برای فعل، Adj برای صفت) اختصاص داده می‌شود. این یک گام اساسی در بسیاری از کاربردهای NLP پیشرفته است.
• شناسایی موجودیت‌های نام‌گذاری‌شده (NER): این وظیفه شامل تشخیص و طبقه‌بندی موجودیت‌های خاص در متن مانند نام اشخاص، مکان‌ها، سازمان‌ها، تاریخ‌ها و ارقام پولی است. NER برای استخراج اطلاعات، خلاصه‌سازی و تحلیل محتوا بسیار مهم است.
• دسته‌بندی اخبار (News Categorisation): این وظیفه به صورت سیستمی، مقالات خبری را به دسته‌های از پیش تعریف‌شده (مانند ورزش، سیاست، اقتصاد) طبقه‌بندی می‌کند. برای این منظور، پژوهشگران یک مجموعه داده جدید برای دسته‌بندی اخبار سِت‌سوانا ایجاد کردند که شامل مقالات خبری برچسب‌گذاری شده با دسته‌های مربوطه است. این مجموعه داده جدید به خودی خود یک دستاورد مهم برای پژوهشگران آینده است.

با انجام این ارزیابی‌ها، محققان توانستند نه تنها عملکرد PuoBERTa را در هر یک از این حوزه‌ها بسنجند، بلکه آن را با سایر رویکردهای احتمالی (مانند مدل‌های چندزبانه یا مدل‌های آموزش‌دیده بر روی زبان‌های مشابه) مقایسه کرده و کارایی رویکرد خود را اثبات کنند.

یافته‌های کلیدی

نتایج حاصل از این پژوهش، اهمیت و کارایی مدل PuoBERTa را برای توسعه قابلیت‌های NLP در زبان سِت‌سوانا به خوبی نشان می‌دهد. یافته‌های کلیدی عبارتند از:

• کارایی بالای PuoBERTa در وظایف مختلف NLP: مدل PuoBERTa در تمامی وظایف ارزیابی شده (برچسب‌گذاری اجزای کلام، شناسایی موجودیت‌های نام‌گذاری‌شده و دسته‌بندی اخبار) عملکرد قابل قبولی از خود نشان داده است. این امر ثابت می‌کند که آموزش یک مدل زبانی اختصاصی بر روی یک پیکره با کیفیت، حتی برای زبان‌های کم‌منبع، می‌تواند به نتایج مثبتی منجر شود. این نتایج نشان می‌دهد که مدل قادر به درک ساختارها و ظرایف زبانی سِت‌سوانا است.
• موفقیت در ساخت پیکره زبانی با کیفیت: یکی از دستاوردهای مهم، گردآوری و تصفیه یک پیکره متنی بزرگ و متنوع برای سِت‌سوانا است. این پیکره نه تنها برای آموزش PuoBERTa بلکه به عنوان یک منبع ارزشمند برای پژوهش‌های آتی در این زبان، حیاتی است. کیفیت و تنوع این داده‌ها نقش اساسی در موفقیت مدل ایفا کرده است.
• ایجاد مجموعه داده جدید و معیارهای اولیه برای دسته‌بندی اخبار: معرفی یک مجموعه داده جدید برای دسته‌بندی اخبار سِت‌سوانا و ارائه معیارهای عملکردی اولیه (benchmarks) با استفاده از PuoBERTa، یک دستاورد پژوهشی قابل توجه است. این مجموعه داده جدید ابزاری برای مقایسه و ارزیابی مدل‌های آینده فراهم می‌کند و پیشرفت در این زمینه را تسریع می‌بخشد. پیش از این، چنین منابعی برای سِت‌سوانا به شدت محدود بوده‌اند.
• اثبات امکان‌پذیری و مزایای آموزش مدل‌های زبانی از ابتدا برای زبان‌های کم‌منبع: این پژوهش به وضوح نشان می‌دهد که سرمایه‌گذاری بر روی ایجاد منابع و آموزش مدل‌های زبانی تخصصی برای زبان‌های کم‌منبع، نه تنها ممکن است بلکه می‌تواند به نتایج مطلوب و کارآمدی منجر شود. این یافته، یک الگوی موفق برای سایر محققانی است که با زبان‌های مشابه کار می‌کنند و ممکن است در گذشته به دلیل کمبود منابع، از توسعه مدل‌های بومی برای زبان خود دلسرد شده باشند.
• هموار کردن راه برای تحقیقات آتی: عملکرد قوی PuoBERTa در وظایف مختلف، مسیر را برای کاربردهای پیشرفته‌تر NLP در سِت‌سوانا هموار می‌کند. این مدل می‌تواند به عنوان یک مدل پایه (foundation model) برای تنظیم دقیق (fine-tuning) در وظایف پیچیده‌تر مانند ترجمه ماشینی، خلاصه‌سازی و تولید متن استفاده شود.

در مجموع، یافته‌ها تأکید می‌کنند که با رویکردی هدفمند و متمرکز، می‌توان موانع ناشی از کمبود منابع را برای زبان‌های کمتر مطالعه شده برطرف کرد و آن‌ها را وارد دنیای پردازش زبان طبیعی کرد.

کاربردها و دستاوردها

توسعه PuoBERTa و منابع مرتبط با آن، دستاوردهای چشمگیر و کاربردهای عملی فراوانی برای زبان سِت‌سوانا و به تبع آن برای سایر زبان‌های کم‌منبع دارد:

کاربردهای عملی

• ترجمه ماشینی بهبودیافته: با داشتن یک مدل زبانی قوی برای سِت‌سوانا، امکان توسعه سیستم‌های ترجمه ماشینی دقیق‌تر بین سِت‌سوانا و زبان‌های دیگر (مانند انگلیسی) فراهم می‌شود. این امر ارتباطات بین‌المللی و دسترسی به اطلاعات را تسهیل می‌کند.
• موتورهای جستجوی کارآمد: PuoBERTa می‌تواند به بهبود قابلیت‌های جستجوی وب برای محتوای سِت‌سوانا کمک کند. کاربران می‌توانند با کلمات کلیدی به زبان خود، نتایج دقیق‌تری را از اسناد و صفحات وب سِت‌سوانا دریافت کنند.
• ربات‌های گفتگو و دستیاران هوشمند: توسعه چت‌بات‌ها و دستیاران صوتی که قادر به درک و پاسخگویی به زبان سِت‌سوانا هستند، می‌تواند خدمات مشتری، آموزش و دسترسی به اطلاعات را برای گویشوران این زبان متحول کند.
• خلاصه‌سازی خودکار متن: قابلیت خلاصه‌سازی مقالات و اسناد طولانی به سِت‌سوانا، دسترسی به محتوای پیچیده را برای افراد پرمشغله یا کسانی که نیاز به درک سریع اطلاعات دارند، آسان‌تر می‌کند.
• تحلیل احساسات و نظرات: کسب‌وکارهای محلی و سازمان‌ها می‌توانند از PuoBERTa برای تحلیل احساسات در شبکه‌های اجتماعی یا نظرات مشتریان به زبان سِت‌سوانا استفاده کنند تا بینش‌های ارزشمندی به دست آورند.
• ابزارهای آموزشی و یادگیری زبان: PuoBERTa می‌تواند به توسعه ابزارهای آموزشی برای یادگیری سِت‌سوانا به عنوان زبان دوم یا کمک به گویشوران بومی در بهبود مهارت‌های نوشتاری خود کمک کند.
• نظارت بر محتوای آنلاین: برای پایش محتوای نامناسب یا خطرناک به زبان سِت‌سوانا، مدل PuoBERTa می‌تواند نقش مهمی ایفا کند.

دستاوردها و تأثیرات بلندمدت

• توانمندسازی زبانی و حفظ هویت فرهنگی: فراهم آوردن ابزارهای دیجیتالی پیشرفته برای سِت‌سوانا به حفظ و ترویج این زبان در عصر دیجیتال کمک می‌کند و هویت فرهنگی گویشوران آن را تقویت می‌بخشد. این یک گام مهم در مقابله با “مرگ دیجیتالی” زبان‌ها است.
• الگوبرداری برای سایر زبان‌های آفریقایی: موفقیت PuoBERTa یک الگوی عملی و الهام‌بخش برای توسعه مدل‌های مشابه برای ده‌ها و شاید صدها زبان کم‌منبع دیگر در قاره آفریقا و سراسر جهان است که با چالش‌های مشابهی مواجه هستند.
• افزایش مشارکت در تحقیقات NLP جهانی: با ایجاد منابع و مدل‌های قوی برای سِت‌سوانا، محققان این زبان می‌توانند سهم فعال‌تری در جامعه NLP جهانی داشته باشند و به تبادل دانش و همکاری‌های بین‌المللی بپردازند.
• پایه و اساس برای نوآوری‌های آینده: PuoBERTa نه تنها یک مدل کاربردی است، بلکه یک بستر مستحکم برای تحقیقات آتی و توسعه برنامه‌های کاربردی پیچیده‌تر در سِت‌سوانا فراهم می‌کند. این مدل می‌تواند به عنوان نقطه شروعی برای ایجاد مدل‌های چندزبانه و سیستم‌های هوش مصنوعی پیشرفته‌تر در آینده عمل کند.

این دستاوردها فراتر از پیشرفت‌های صرفاً تکنولوژیکی هستند؛ آن‌ها به عدالت زبانی، دسترسی برابر به اطلاعات و توانمندسازی جوامع کم‌منبع در سراسر جهان کمک می‌کنند.

نتیجه‌گیری

پژوهش “PuoBERTa: آموزش و ارزیابی یک مدل زبانی تصفیه‌شده برای زبان سِت‌سوانا” یک گام پیشگامانه و بسیار مهم در راستای کاهش نابرابری‌های زبانی در حوزه پردازش زبان طبیعی (NLP) محسوب می‌شود. این مقاله نه تنها با موفقیت یک مدل زبانی قدرتمند و سفارشی به نام PuoBERTa را برای زبان سِت‌سوانا معرفی کرده است، بلکه با دقت و تلاش فراوان، یک پیکره متنی با کیفیت بالا را گردآوری و تصفیه کرده و یک مجموعه داده جدید برای دسته‌بندی اخبار سِت‌سوانا را نیز ارائه داده است.

نتایج حاصل از ارزیابی‌های گسترده در وظایفی نظیر برچسب‌گذاری اجزای کلام، شناسایی موجودیت‌های نام‌گذاری‌شده و دسته‌بندی اخبار، به وضوح کارایی و اثربخشی PuoBERTa را نشان می‌دهد. این دستاوردها، به ویژه برای یک زبان کم‌منبع مانند سِت‌سوانا که تاکنون از کمبود شدید منابع دیجیتالی رنج می‌برده، بی‌سابقه است. این پژوهش عملاً ثابت کرده است که با رویکردی متمرکز و سرمایه‌گذاری بر روی ایجاد منابع بومی، می‌توان مدل‌های NLP بسیار قدرتمندی را برای زبان‌هایی که کمتر مورد مطالعه قرار گرفته‌اند، توسعه داد.

فراتر از دستاوردهای تکنولوژیکی، این کار تأثیرات اجتماعی و فرهنگی عمیقی نیز به همراه دارد. PuoBERTa نه تنها راه را برای توسعه کاربردهای عملی بی‌شماری از جمله ترجمه ماشینی، موتورهای جستجو و ربات‌های گفتگو به زبان سِت‌سوانا هموار می‌کند، بلکه به حفظ، ترویج و دیجیتالی شدن این زبان کمک شایانی می‌کند. این دستاورد، به گویشوران سِت‌سوانا امکان می‌دهد تا به طور کامل‌تر در دنیای دیجیتال مشارکت داشته باشند و هویت زبانی و فرهنگی خود را در فضای آنلاین نیز حفظ کنند.

در نهایت، پژوهش PuoBERTa یک نقشه راه ارزشمند برای تحقیقات آتی در زمینه NLP برای زبان‌های کم‌منبع ارائه می‌دهد. این کار نه تنها الهام‌بخش محققان برای پرداختن به زبان‌های دیگر خواهد بود، بلکه پتانسیل عظیم ایجاد نوآوری در این حوزه را نیز آشکار می‌سازد. با این حال، نیاز به ادامه تلاش‌ها برای جمع‌آوری داده‌های بیشتر، توسعه مدل‌های پیچیده‌تر و همکاری‌های بین‌المللی برای گسترش این دستاوردها به سایر زبان‌ها همچنان پابرجاست. PuoBERTa نقطه عطفی در تلاش برای رسیدن به یک اکوسیستم NLP فراگیر و واقعاً چندزبانه است.