در سال‌های اخیر، حوزه پردازش زبان طبیعی (NLP) با ظهور مدل‌های زبانی پیش‌آموزش‌دیده (Pre-trained Language Models) مانند BERT و GPT دستخوش تحولی بنیادین شده است. این مدل‌ها با آموزش بر روی حجم عظیمی از داده‌های متنی، توانایی درک عمیق ساختار و معنای زبان انسان را کسب کرده و در طیف گسترده‌ای از وظایف مانند ترجمه ماشینی، تحلیل احساسات و خلاصه‌سازی متن، به نتایجی پیشرو دست یافته‌اند. با این حال، این پیشرفت‌ها عمدتاً بر زبان‌های پرمصرف و پرداده (High-Resource Languages) مانند انگلیسی و چینی متمرکز بوده است.

زبان‌هایی با منابع دیجیتال محدود، که به آن‌ها زبان‌های کم‌منبع (Low-Resource Languages) گفته می‌شود، از این قافله عقب مانده‌اند. زبان تبتی یکی از این موارد است که با وجود اهمیت فرهنگی و تاریخی، فاقد ابزارهای پردازش زبان مدرن و کارآمد بود. مقاله “TiBERT: مدل زبانی پیش‌آموزش‌دیده تبتی” به طور مستقیم این شکاف را هدف قرار داده و اولین مدل زبانی تک‌زبانه (Monolingual) و بزرگ‌مقیاس را برای زبان تبتی معرفی می‌کند. اهمیت این پژوهش در این است که نشان می‌دهد چگونه می‌توان با جمع‌آوری داده‌های مناسب و استفاده از معماری‌های پیشرفته، توانمندی‌های هوش مصنوعی را برای زبان‌های کمتر شناخته‌شده نیز به ارمغان آورد و به حفظ و ترویج تنوع زبانی در دنیای دیجیتال کمک کرد.

این مقاله حاصل تلاش گروهی از پژوهشگران به نام‌های یوان سان (Yuan Sun)، سیسی لیو (Sisi Liu)، جونجی دنگ (Junjie Deng) و شیائوبینگ ژائو (Xiaobing Zhao) است. این محققان، وابسته به مؤسسه تحقیقاتی چاینا موبایل (China Mobile Research Institute)، در زمینه هوش مصنوعی و پردازش زبان طبیعی فعالیت می‌کنند. این پژوهش در چارچوب تلاش‌های جهانی برای گسترش فناوری‌های NLP به زبان‌های کم‌منبع قرار می‌گیرد. پیش از این، راهکار اصلی برای این زبان‌ها، استفاده از مدل‌های چندزبانه (Multilingual) مانند mBERT بود که بر روی بیش از ۱۰۰ زبان به طور همزمان آموزش دیده‌اند. اگرچه این مدل‌ها کارایی قابل قبولی دارند، اما دانش آن‌ها از هر زبان به صورت سطحی و عمومی است. این مقاله با تمرکز ویژه بر زبان تبتی، مسیری جدید برای ساخت مدل‌های تخصصی و عمیق‌تر برای هر زبان را ترسیم می‌کند.

مقاله TiBERT با این فرض آغاز می‌شود که مدل‌های زبانی پیش‌آموزش‌دیده، با دستیابی به نتایج پیشرفته (State-of-the-Art) در وظایف مختلف، به یک استاندارد طلایی در NLP تبدیل شده‌اند، اما این فناوری عمدتاً در انحصار زبان‌های انگلیسی و چینی باقی مانده است. نویسندگان برای حل این مشکل در زبان تبتی، سه گام اساسی را دنبال کرده‌اند:

• جمع‌آوری داده: آن‌ها یک پیکره (Corpus) متنی بزرگ‌مقیاس از وب‌سایت‌های تبتی جمع‌آوری کردند تا ماده خام لازم برای آموزش مدل را فراهم کنند.
• ساخت واژگان: با استفاده از ابزار SentencePiece، یک واژگان تخصصی برای زبان تبتی ساختند که قادر است بیش از ۹۹.۹۵٪ از کلمات موجود در پیکره را پوشش دهد. این امر برای درک صحیح ساختار کلمات و جملات تبتی حیاتی است.
• آموزش مدل: بر اساس این داده‌ها و واژگان، مدل زبانی TiBERT را با معماری مبتنی بر ترنسفورمر (Transformer) آموزش دادند.

در نهایت، برای ارزیابی کارایی TiBERT، آن را در دو وظیفه پایین‌دستی (Downstream Tasks) یعنی طبقه‌بندی متن و تولید پرسش به کار گرفتند. نتایج تجربی نشان داد که TiBERT نه تنها از مدل‌های کلاسیک، بلکه از مدل‌های پیش‌آموزش‌دیده چندزبانه نیز عملکرد بهتری دارد و به عنوان بهترین مدل موجود برای پردازش زبان تبتی معرفی می‌شود.

موفقیت مدل TiBERT بر سه ستون اصلی استوار است که در این بخش به تفصیل بررسی می‌شوند:

الف) گردآوری پیکره داده (Corpus Collection)

اولین و مهم‌ترین چالش برای آموزش یک مدل زبانی قدرتمند، دسترسی به حجم وسیعی از داده‌های متنی باکیفیت است. از آنجا که زبان تبتی یک زبان کم‌منبع است، پیکره‌های آماده و استاندارد برای آن وجود نداشت. محققان با خزیدن (Crawling) در وب‌سایت‌های تبتی، موفق به جمع‌آوری یک مجموعه داده بزرگ و متنوع شدند. این داده‌ها پس از پاک‌سازی و پیش‌پردازش، به عنوان خوراک اصلی برای آموزش مدل مورد استفاده قرار گرفتند.

ب) ساخت واژگان با SentencePiece

مدل‌های زبانی برای پردازش متن، ابتدا باید آن را به واحدهای کوچک‌تری به نام توکن (Token) تقسیم کنند. انتخاب روش توکنیزه‌سازی تأثیر مستقیمی بر عملکرد مدل دارد. نویسندگان از ابزار SentencePiece استفاده کردند که از روش توکنیزه‌سازی زیرکلمه‌ای (Subword Tokenization) بهره می‌برد. این روش کلمات را به واحدهای معنادار کوچک‌تر تقسیم می‌کند. مزایای این رویکرد عبارتند از:

• مدیریت کلمات خارج از واژگان (OOV): حتی اگر کلمه‌ای در واژگان اصلی وجود نداشته باشد، می‌توان آن را با ترکیب زیرکلمه‌ها نمایش داد.
• درک ساختار مورفولوژیکی: در زبان‌هایی مانند تبتی که ساختار کلمات پیچیده است، این روش به مدل کمک می‌کند تا ارتباط بین کلمات هم‌ریشه را بهتر درک کند.

واژگان ساخته‌شده توانست ۹۹.۹۵٪ از کلمات پیکره را پوشش دهد که نشان‌دهنده کارایی بالای این روش است.

ج) معماری و آموزش مدل TiBERT

مدل TiBERT بر پایه معماری قدرتمند Transformer ساخته شده است که هسته اصلی مدل BERT نیز محسوب می‌شود. فرآیند آموزش این مدل به صورت «خودنظارتی» (Self-supervised) و با دو هدف اصلی انجام شد:

• مدل‌سازی زبان نقاب‌دار (Masked Language Modeling – MLM): در این روش، برخی از کلمات جمله به صورت تصادفی پنهان (Mask) می‌شوند و مدل باید بر اساس کلمات اطراف (بافت)، کلمه پنهان‌شده را پیش‌بینی کند. این کار به مدل یاد می‌دهد که روابط معنایی و نحوی بین کلمات را درک کند.
• پیش‌بینی جمله بعدی (Next Sentence Prediction – NSP): در این وظیفه، دو جمله به مدل داده می‌شود و مدل باید تشخیص دهد که آیا جمله دوم در متن اصلی بلافاصله پس از جمله اول آمده است یا خیر. این هدف به مدل کمک می‌کند تا روابط منطقی بین جملات را بیاموزد.

با آموزش مدل بر روی این دو وظیفه، TiBERT به یک درک عمیق و زمینه‌مند از زبان تبتی دست یافت.

برای سنجش واقعی قدرت TiBERT، محققان عملکرد آن را در مقایسه با دو گروه از مدل‌ها ارزیابی کردند: مدل‌های کلاسیک (مانند مدل‌های آماری یا شبکه‌های عصبی ساده‌تر) و مدل‌های چندزبانه (مانند mBERT). نتایج در دو وظیفه اصلی به شرح زیر بود:

• طبقه‌بندی متن (Text Classification): در این وظیفه، هدف دسته‌بندی متون تبتی (مانند اخبار) در موضوعات از پیش تعیین‌شده بود. نتایج نشان داد که TiBERT با اختلاف قابل توجهی نسبت به سایر مدل‌ها، دقت بالاتری را کسب کرد. این موفقیت نشان می‌دهد که مدل تک‌زبانه به دلیل تمرکز کامل بر روی داده‌های تبتی، قادر است تفاوت‌های ظریف معنایی را که مدل‌های چندزبانه نادیده می‌گیرند، تشخیص دهد.
• تولید پرسش (Question Generation): در این وظیفه، مدل باید از یک متن ورودی، یک پرسش معقول و مرتبط تولید کند. عملکرد TiBERT در این زمینه نیز برتر بود و پرسش‌هایی تولید کرد که هم از نظر گرامری صحیح بودند و هم از نظر معنایی با متن اصلی ارتباط داشتند.

یافته اصلی و کلیدی این پژوهش این است که مدل‌های تک‌زبانه، حتی اگر بر روی داده‌های کمتری نسبت به همتایان چندزبانه خود آموزش دیده باشند، به دلیل تخصص و تمرکز بر روی یک زبان خاص، عملکرد بهتری در وظایف مربوط به آن زبان از خود نشان می‌دهند. این نتیجه، یک استدلال قوی برای سرمایه‌گذاری در ساخت مدل‌های اختصاصی برای زبان‌های کم‌منبع است.

انتشار TiBERT یک دستاورد مهم برای جامعه پردازش زبان تبتی محسوب می‌شود و کاربردهای عملی فراوانی را ممکن می‌سازد:

• بهبود ترجمه ماشینی: می‌توان از TiBERT به عنوان پایه و اساس سیستم‌های ترجمه از تبتی به زبان‌های دیگر و بالعکس استفاده کرد.
• موتورهای جستجوی هوشمند: ایجاد موتورهای جستجو که قادر به درک دقیق معنای کوئری‌های تبتی و ارائه نتایج مرتبط‌تر هستند.
• ابزارهای آموزشی و فرهنگی: توسعه نرم‌افزارهای کمک‌آموزشی برای زبان تبتی، ابزارهای تصحیح گرامر و تحلیل متون ادبی.
• سیستم‌های دستیار صوتی و چت‌بات: ساخت دستیارهای مجازی که بتوانند به زبان تبتی با کاربران تعامل کنند.

مهم‌ترین دستاورد این مقاله، ارائه اولین مدل زبانی پیش‌آموزش‌دیده و عمومی برای زبان تبتی است. محققان با انتشار عمومی مدل خود در وب‌سایت tibert.cmli-nlp.com، این امکان را برای سایر پژوهشگران و توسعه‌دهندگان فراهم کرده‌اند تا بدون نیاز به صرف هزینه و زمان برای آموزش مجدد، از این مدل قدرتمند در پروژه‌های خود استفاده کنند. این اقدام، سرعت پیشرفت در حوزه NLP تبتی را به شدت افزایش می‌دهد.

مقاله “TiBERT” یک گام بزرگ و الهام‌بخش در جهت پر کردن شکاف دیجیتال برای زبان‌های کم‌منبع است. این پژوهش به طور قانع‌کننده‌ای نشان می‌دهد که با تلاش متمرکز برای جمع‌آوری داده و به‌کارگیری معماری‌های مدرن، می‌توان ابزارهای هوش مصنوعی پیشرفته‌ای را برای زبان‌هایی مانند تبتی توسعه داد. TiBERT نه تنها یک ابزار فنی قدرتمند است، بلکه نمادی از اهمیت حفظ تنوع زبانی در عصر دیجیتال به شمار می‌رود. موفقیت این پروژه می‌تواند به عنوان یک نقشه راه برای جوامع زبانی دیگر عمل کند تا با ایجاد منابع و مدل‌های مشابه، زبان خود را در دنیای فناوری زنده و پویا نگه دارند. در نهایت، TiBERT اثبات می‌کند که آینده پردازش زبان طبیعی، آینده‌ای چندزبانه و فراگیر است که در آن هیچ زبانی به حاشیه رانده نخواهد شد.