در عصر اطلاعات، توانایی ماشین‌ها برای درک و پردازش زبان انسان، موسوم به پردازش زبان طبیعی (NLP)، اهمیتی حیاتی یافته است. با این حال، یکی از بزرگترین چالش‌ها در این حوزه، تنوع زبانی در جهان است. اغلب ابزارهای پیشرفته NLP برای زبان انگلیسی توسعه یافته‌اند و انطباق آن‌ها با هزاران زبان دیگر، فرآیندی پرهزینه و پیچیده است. مقاله “Trankit: A Light-Weight Transformer-based Toolkit for Multilingual Natural Language Processing” که در سال ۲۰۲۱ منتشر شد، یک راه‌حل نوآورانه برای این چالش ارائه می‌دهد.

اهمیت این مقاله در ارائه یک جعبه‌ابزار جامع، قدرتمند و در عین حال سبک‌وزن و بهینه است که می‌تواند وظایف بنیادین NLP را برای بیش از ۱۰۰ زبان، از جمله زبان فارسی، با دقت بالا انجام دهد. «ترنکیت» (Trankit) با بهره‌گیری از معماری پیشرفته ترانسفورمرها، موفق می‌شود تعادلی مثال‌زدنی میان دقت، سرعت و مصرف منابع محاسباتی برقرار کند. این ویژگی، آن را به ابزاری در دسترس برای طیف وسیعی از محققان، توسعه‌دهندگان و شرکت‌ها تبدیل می‌کند که پیش از این به دلیل محدودیت‌های سخت‌افزاری، از کار با مدل‌های زبانی بزرگ باز می‌ماندند. این مقاله شکاف میان ابزارهای تک‌زبانه بسیار دقیق و ابزارهای چندزبانه با عملکرد متوسط را پر می‌کند و گامی بلند در جهت دموکراتیک‌سازی فناوری‌های پیشرفته زبان برمی‌دارد.

این مقاله حاصل همکاری تیمی از پژوهشگران برجسته در آزمایشگاه پردازش زبان طبیعی دانشگاه اورگن (University of Oregon) است. نویسندگان آن عبارتند از: مین ون نگوین (Minh Van Nguyen)، ویت داک لای (Viet Dac Lai)، امیر پوران بن‌ویسی (Amir Pouran Ben Veyseh) و تین هو نگوین (Thien Huu Nguyen). حضور یک پژوهشگر ایرانی در میان نویسندگان، نشان‌دهنده مشارکت فعال جامعه علمی ایران در پیشبرد مرزهای دانش NLP است.

این تحقیق در بستر تحول عظیمی که مدل‌های ترانسفورمر (Transformer) مانند BERT و XLM-Roberta در حوزه NLP ایجاد کرده‌اند، شکل گرفته است. این مدل‌ها با توانایی بی‌نظیر در درک زمینه‌های متنی، انقلابی در دقت وظایf مختلف زبانی به پا کردند. با این حال، اندازه بسیار بزرگ و نیاز محاسباتی بالای آن‌ها، استفاده از آن‌ها را برای کاربردهای چندزبانه دشوار می‌ساخت. پژوهشگران ترنکیت با هدف حل این معضل، به دنبال روشی بودند که بتوان قدرت یک مدل ترانسفورمر بزرگ و چندزبانه را بدون نیاز به آموزش و ذخیره‌سازی ده‌ها نسخه مجزا از آن برای هر زبان، مهار کرد.

مقاله، ترنکیت را به عنوان یک جعبه‌ابزار (Toolkit) سبک‌وزن و مبتنی بر ترانسفورمر برای پردازش زبان طبیعی چندزبانه معرفی می‌کند. این ابزار یک خط لوله (pipeline) قابل آموزش برای وظایف بنیادین NLP در بیش از ۱۰۰ زبان ارائه می‌دهد و به طور خاص، ۹۰ خط لوله از پیش آموزش‌دیده برای ۵۶ زبان (شامل فارسی) را در اختیار کاربران قرار می‌دهد.

وظایف اصلی که ترنکیت پوشش می‌دهد عبارتند از:

• بخش‌بندی جملات (Sentence Segmentation): جداسازی متن به جملات مجزا.
• توکن‌سازی (Tokenization): شکستن جملات به واحدهای کوچکتر مانند کلمات و علائم نگارشی.
• گسترش توکن‌های چندکلمه‌ای (Multi-Word Token Expansion): مدیریت کلماتی که در برخی زبان‌ها به هم چسبیده‌اند (مانند “می‌روم”).
• برچسب‌زنی اجزای کلام (Part-of-Speech Tagging): تعیین نقش دستوری هر کلمه (اسم، فعل، صفت و…).
• برچسب‌زنی ویژگی‌های صرفی (Morphological Feature Tagging): شناسایی ویژگی‌های کلمه مانند شخص، شمار و زمان.
• تجزیه وابستگی (Dependency Parsing): تحلیل ساختار گرامری جمله و روابط بین کلمات.
• لم‌سازی (Lemmatization): یافتن ریشه یا شکل پایه هر کلمه.

نویسندگان نشان می‌دهند که ترنکیت در مقایسه با ابزارهای چندزبانه پیشین مانند Stanza و UDPipe، در اکثر وظایف کلیدی عملکردی برتر دارد و در عین حال، به لطف یک معماری نوآورانه، از نظر مصرف حافظه و سرعت بسیار بهینه است.

راز کارایی و سبکی ترنکیت در معماری هوشمندانه آن نهفته است. این ابزار به جای fine-tuning کردن یک مدل ترانسفورمر غول‌پیکر برای هر زبان (که منجر به ایجاد ده‌ها مدل حجیم می‌شود)، از یک رویکرد نوین به نام “مکانیزم Plug-and-Play با آداپتورها” استفاده می‌کند.

• ستون فقرات مشترک: ترنکیت از یک مدل زبان چندزبانه از پیش آموزش‌دیده (مانند XLM-Roberta) به عنوان یک ستون فقرات (backbone) ثابت و مشترک برای همه زبان‌ها بهره می‌برد. پارامترهای این مدل اصلی در حین آموزش برای یک زبان خاص، «منجمد» باقی می‌مانند و تغییر نمی‌کنند.
• آداپتورهای زبانی (Adapters): به جای تغییر کل مدل، برای هر زبان، یک ماژول کوچک و سبک به نام «آداپتور» به لایه‌های مدل ترانسفورمر اضافه می‌شود. این آداپتورها حاوی پارامترهای بسیار کمی هستند و تنها همین پارامترها در حین آموزش برای یک زبان خاص، تنظیم می‌شوند.
• رویکرد Plug-and-Play: هنگام پردازش متنی از یک زبان مشخص، ترنکیت به سادگی آداپتور مربوط به آن زبان را به مدل پایه «متصل» (plug-in) می‌کند. این کار باعث می‌شود که یک مدل پایه واحد بتواند با افزودن لایه‌های کوچک و تخصصی، برای ده‌ها زبان مختلف بهینه شود. این رویکرد به شدت حجم مورد نیاز برای ذخیره‌سازی مدل‌ها و مصرف حافظه در زمان اجرا را کاهش می‌دهد.

خط لوله پردازشی ترنکیت نیز به صورت یکپارچه طراحی شده است. پس از بخش‌بندی جملات و توکن‌سازی، وظایف پیچیده‌تر مانند برچسب‌زنی اجزای کلام، تحلیل صرفی، لم‌سازی و تجزیه وابستگی به صورت مشترک (jointly) انجام می‌شوند. این یادگیری چندوظیفه‌ای (Multi-task Learning) به مدل کمک می‌کند تا از اطلاعات مشترک بین این وظایف بهره ببرد و به دقت بالاتری دست یابد.

نتایج تجربی ارائه‌شده در مقاله، موفقیت چشمگیر رویکرد ترنکیت را تأیید می‌کنند:

• دقت برتر: در ارزیابی روی ۹۰ مجموعه داده از پایگاه داده Universal Dependencies، ترنکیت به طور قابل توجهی از ابزارهای رقیب مانند Stanza در وظایف کلیدی چون برچسب‌زنی اجزای کلام، تحلیل صرفی و تجزیه وابستگی بهتر عمل می‌کند. این برتری نشان می‌دهد که معماری مبتنی بر آداپتور نه تنها کارآمد است، بلکه به عملکرد بهتری نیز منجر می‌شود.
• بهینگی در منابع: مهم‌ترین یافته، کارایی بالای ترنکیت است. به دلیل اشتراک‌گذاری مدل ترانسفورمر پایه، حجم کل مدل‌های مورد نیاز برای ۵۶ زبان در ترنکیت بسیار کمتر از حالتی است که برای هر زبان یک مدل جداگانه fine-tune شود. این ویژگی آن را برای اجرا روی سیستم‌هایی با منابع محدود (مانند سرورهای معمولی یا حتی لپ‌تاپ‌های قدرتمند) مناسب می‌سازد.
• سرعت رقابتی: با وجود استفاده از یک مدل ترانسفورمر بزرگ، ترنکیت سرعت پردازش قابل قبولی را حفظ می‌کند که آن را برای کاربردهای عملی و پردازش حجم بالایی از متن مناسب می‌سازد.

ترنکیت تنها یک دستاورد پژوهشی نیست، بلکه یک ابزار عملی با کاربردهای گسترده است:

• تحقیقات چندزبانه: محققان می‌توانند از ترنکیت به عنوان یک ابزار پایه قدرتمند برای تحلیل متون در زبان‌های کمتربرخوردار (low-resource) استفاده کنند، بدون آنکه نگران پیچیدگی‌های آموزش مدل‌های زبانی از ابتدا باشند.
• توسعه نرم‌افزار: توسعه‌دهندگان می‌توانند این جعبه‌ابزار را به سادگی در سیستم‌های خود ادغام کنند تا قابلیت‌های پیشرفته NLP مانند تحلیل احساسات، چت‌بات‌های هوشمند، سیستم‌های پرسش و پاسخ و استخراج اطلاعات را برای کاربران در سراسر جهان فراهم آورند. به عنوان مثال، یک پلتفرم تحلیل شبکه‌های اجتماعی می‌تواند با استفاده از ترنکیت، نظرات کاربران را به زبان‌های فارسی، عربی، ترکی و انگلیسی به طور همزمان تحلیل کند.
• آموزش و دسترسی‌پذیری: با ارائه کد منبع‌باز، مدل‌های از پیش آموزش‌دیده و یک دموی آنلاین، نویسندگان دسترسی به فناوری پیشرفته NLP را برای همگان آسان کرده‌اند. این امر به ترویج دانش و نوآوری در این حوزه کمک شایانی می‌کند.

دستاورد اصلی ترنکیت، اثبات این نکته است که می‌توان به طور همزمان به دقت بالا، پوشش زبانی گسترده و کارایی محاسباتی دست یافت. این ابزار یک راه‌حل زیبا برای چالش مقیاس‌پذیری مدل‌های ترانسفورمر در دنیای چندزبانه ارائه می‌دهد.

مقاله معرفی‌کننده ترنکیت، یک گام مهم در تکامل ابزارهای پردازش زبان طبیعی چندزبانه است. این جعبه‌ابزار با بهره‌گیری از معماری نوآورانه آداپتور-محور، موفق به حل یکی از بزرگترین معضلات NLP مدرن یعنی توازن میان دقت و بهره‌وری شده است. ترنکیت نه تنها عملکردی در سطح بهترین ابزارهای موجود ارائه می‌دهد، بلکه این کار را با مصرف منابع بسیار کمتر و پشتیبانی از طیف وسیعی از زبان‌های جهان انجام می‌دهد.

این ابزار به عنوان یک منبع قدرتمند و در دسترس، پتانسیل آن را دارد که تحقیقات و کاربردهای صنعتی در حوزه NLP چندزبانه را تسریع بخشد و به درک عمیق‌تر و تعامل بهتر ماشین با زبان‌های گوناگون بشری، از جمله زبان فارسی، کمک کند.