در سال‌های اخیر، استفاده از بازنمایی‌های متنی مبتنی بر «بافت» (Contextual Word Representations) در سیستم‌های پردازش زبان طبیعی (NLP) به یک استاندارد تبدیل شده است. این مدل‌ها، که اغلب بر پایه‌ی معماری‌هایی مانند ترنسفورمر (Transformer) بنا شده‌اند، توانسته‌اند با بهره‌گیری از مفهوم «توکن‌بندی زیرواژه» (Subword Tokenization)، به نحو موثری با حجم وسیع واژگان و کلمات ناشناخته در زبان‌های مختلف مقابله کنند. اما نکته‌ی کلیدی اینجاست: وقتی می‌خواهیم از این مدل‌ها در سطح واژه استفاده کنیم، به یک روش مناسب برای «تجمیع» (Pooling) زیرواژه‌های متعددی که یک واژه را تشکیل می‌دهند، نیاز داریم. این مقاله، به بررسی این موضوع می‌پردازد که چگونه انتخاب روش تجمیع زیرواژه می‌تواند بر عملکرد مدل در وظایف مختلف پردازش زبان طبیعی تاثیر بگذارد.

این تحقیق توسط Judit Ács، Ákos Kádár و András Kornai انجام شده است. زمینه تخصصی این محققان، پردازش زبان طبیعی و یادگیری ماشین است و تمرکز آن‌ها بر روی بهبود کارایی و عملکرد مدل‌های زبانی در وظایف مختلف NLP است. آن‌ها با بررسی چالش‌های موجود در استفاده از زیرواژه‌ها و ارائه راه‌حل‌هایی برای تجمیع بهینه آن‌ها، سعی در ارتقای سطح این مدل‌ها دارند.

چکیده این مقاله به این موضوع اشاره دارد که انتخاب روش تجمیع زیرواژه‌ها تاثیر قابل توجهی بر عملکرد مدل‌های زبانی در وظایف مختلف دارد. محققان در این پژوهش، به بررسی این تاثیر بر روی سه وظیفه اصلی پرداخته‌اند:

• کاوش ریخت‌شناسی (Morphological Probing): بررسی ساختار داخلی کلمات و شناسایی ویژگی‌های ریخت‌شناختی آن‌ها.
• برچسب‌زنی اجزای کلام (POS Tagging): تعیین نقش دستوری هر کلمه در یک جمله (مانند اسم، فعل، صفت).
• تشخیص موجودیت‌های نام‌دار (NER): شناسایی و دسته‌بندی اسامی خاص (مانند نام افراد، مکان‌ها، سازمان‌ها) در متن.

این بررسی در ۹ زبان مختلف با ساختارهای زبانی گوناگون انجام شده است. محققان از دو مدل زبانی بزرگ و چندزبانه به نام‌های mBERT و XLM-RoBERTa استفاده کرده‌اند تا نتایج را مقایسه کنند. یافته‌های این تحقیق نشان می‌دهد که روش رایج “انتخاب اولین زیرواژه” برای وظایف ریخت‌شناسی، بدترین استراتژی است و بهترین نتایج با استفاده از “توجه (Attention) بر روی زیرواژه‌ها” به دست می‌آید. برای برچسب‌زنی اجزای کلام، هر دو روش “انتخاب اولین زیرواژه” و “توجه بر روی زیرواژه‌ها” عملکرد ضعیفی دارند و بهترین انتخاب، استفاده از یک شبکه‌ی عصبی بازگشتی کوتاه (LSTM) کوچک بر روی زیرواژه‌ها است. همین استراتژی برای تشخیص موجودیت‌های نام‌دار نیز بهترین عملکرد را دارد. علاوه بر این، نتایج نشان می‌دهد که mBERT در هر ۹ زبان، عملکرد بهتری نسبت به XLM-RoBERTa دارد. کدها، داده‌ها و جدول نتایج کامل این تحقیق به صورت عمومی در دسترس قرار گرفته است.

روش‌شناسی این تحقیق شامل چندین مرحله کلیدی است:

1. انتخاب وظایف و زبان‌ها: انتخاب سه وظیفه پردازش زبان طبیعی (کاوش ریخت‌شناسی، برچسب‌زنی اجزای کلام و تشخیص موجودیت‌های نام‌دار) و نه زبان مختلف با ساختارهای زبانی متنوع. هدف از انتخاب زبان‌های متنوع، بررسی تاثیر روش‌های تجمیع زیرواژه در شرایط مختلف زبانی بوده است.
2. انتخاب مدل‌های زبانی: انتخاب دو مدل زبانی بزرگ و چندزبانه (mBERT و XLM-RoBERTa). این مدل‌ها به دلیل توانایی‌شان در پردازش چندزبانه و داشتن معماری مبتنی بر ترنسفورمر، برای این تحقیق مناسب بودند.
3. پیاده‌سازی روش‌های تجمیع زیرواژه: پیاده‌سازی و مقایسه روش‌های مختلف تجمیع زیرواژه، از جمله:
   • انتخاب اولین زیرواژه: ساده‌ترین روش که فقط اولین زیرواژه را به عنوان بازنمایی واژه انتخاب می‌کند.
   • میانگین‌گیری زیرواژه‌ها: محاسبه میانگین بردار بازنمایی تمام زیرواژه‌های یک واژه.
   • ماکزیمم‌گیری زیرواژه‌ها: انتخاب بزرگترین مقدار از هر بعد بردار بازنمایی تمام زیرواژه‌های یک واژه.
   • توجه بر روی زیرواژه‌ها: استفاده از مکانیسم توجه (Attention Mechanism) برای وزن‌دهی به زیرواژه‌ها بر اساس اهمیت آن‌ها.
   • شبکه‌ی عصبی بازگشتی کوتاه (LSTM) بر روی زیرواژه‌ها: استفاده از یک LSTM کوچک برای پردازش زیرواژه‌ها به صورت ترتیبی و تولید یک بازنمایی واحد برای واژه.
4. آموزش و ارزیابی مدل‌ها: آموزش مدل‌ها با استفاده از داده‌های مربوط به هر وظیفه و زبان، و ارزیابی عملکرد آن‌ها با استفاده از معیارهای ارزیابی استاندارد (مانند دقت، F1-score).
5. تحلیل نتایج: تحلیل نتایج به دست آمده و مقایسه عملکرد روش‌های مختلف تجمیع زیرواژه در وظایف و زبان‌های مختلف.

به عنوان مثال، برای وظیفه‌ی برچسب‌زنی اجزای کلام، محققان از مجموعه‌ای از داده‌های آموزشی برچسب‌گذاری‌شده استفاده کردند تا مدل‌های mBERT و XLM-RoBERTa را با روش‌های مختلف تجمیع زیرواژه آموزش دهند. سپس، عملکرد این مدل‌ها را بر روی داده‌های آزمون ارزیابی کردند و دقت آن‌ها را اندازه‌گیری کردند.

یافته‌های اصلی این تحقیق را می‌توان به صورت زیر خلاصه کرد:

• روش تجمیع زیرواژه بر عملکرد تاثیر دارد: انتخاب روش تجمیع زیرواژه تاثیر قابل توجهی بر عملکرد مدل‌های زبانی در وظایف مختلف پردازش زبان طبیعی دارد. این بدان معناست که نمی‌توان یک روش تجمیع را به عنوان “بهترین” روش برای تمام وظایف و زبان‌ها در نظر گرفت.
• “انتخاب اولین زیرواژه” همیشه بهترین نیست: روش ساده “انتخاب اولین زیرواژه” که به طور گسترده استفاده می‌شود، در بسیاری از موارد عملکرد ضعیفی دارد، به خصوص در وظایف ریخت‌شناسی.
• “توجه” برای ریخت‌شناسی خوب است: استفاده از مکانیسم “توجه” برای تجمیع زیرواژه‌ها، نتایج بسیار خوبی در وظایف ریخت‌شناسی به دست می‌دهد.
• LSTM برای POS و NER: استفاده از یک شبکه‌ی عصبی بازگشتی کوتاه (LSTM) کوچک بر روی زیرواژه‌ها، بهترین عملکرد را در وظایف برچسب‌زنی اجزای کلام (POS) و تشخیص موجودیت‌های نام‌دار (NER) دارد.
• mBERT بهتر از XLM-RoBERTa: مدل mBERT در هر ۹ زبان مورد بررسی، عملکرد بهتری نسبت به مدل XLM-RoBERTa در وظایف NER دارد.

به عنوان مثال، در وظیفه‌ی کاوش ریخت‌شناسی، اگر کلمه‌ی “کتاب‌ها” را در نظر بگیریم، مدل mBERT با استفاده از مکانیسم توجه، می‌تواند به زیرواژه‌ی “ها” به عنوان نشانه‌ی جمع، وزن بیشتری بدهد و در نتیجه، اطلاعات ریخت‌شناختی دقیق‌تری را استخراج کند.

نتایج این تحقیق دارای کاربردهای عملی و دستاوردهای مهمی در زمینه پردازش زبان طبیعی است:

• بهبود عملکرد مدل‌های زبانی: با انتخاب روش مناسب تجمیع زیرواژه برای هر وظیفه، می‌توان عملکرد مدل‌های زبانی را بهبود بخشید.
• توسعه مدل‌های زبانی دقیق‌تر: این تحقیق به توسعه مدل‌های زبانی دقیق‌تر و کارآمدتر کمک می‌کند که می‌توانند در کاربردهای مختلف NLP مورد استفاده قرار گیرند.
• انتخاب آگاهانه‌تر روش‌های تجمیع: این تحقیق به محققان و توسعه‌دهندگان کمک می‌کند تا با آگاهی بیشتری روش‌های تجمیع زیرواژه را انتخاب کنند و عملکرد مدل‌های خود را بهینه سازند.
• کدها و داده‌های در دسترس: انتشار کدها، داده‌ها و جدول نتایج کامل این تحقیق، امکان استفاده و توسعه بیشتر این نتایج را برای سایر محققان فراهم می‌کند.

به عنوان مثال، یک شرکت فعال در زمینه توسعه ربات‌های پاسخگو می‌تواند از نتایج این تحقیق برای بهبود عملکرد ربات خود در درک و پاسخگویی به سوالات کاربران استفاده کند. با استفاده از روش مناسب تجمیع زیرواژه، ربات می‌تواند با دقت بیشتری منظور کاربر را درک کرده و پاسخ مناسب را ارائه دهد.

به طور خلاصه، این مقاله نشان می‌دهد که انتخاب روش تجمیع زیرواژه یک عامل مهم و تعیین‌کننده در عملکرد مدل‌های زبانی است. با در نظر گرفتن ویژگی‌های وظایف مختلف و ساختارهای زبانی گوناگون، می‌توان با انتخاب روش مناسب تجمیع زیرواژه، عملکرد مدل‌ها را به طور قابل توجهی بهبود بخشید. این تحقیق، گامی مهم در جهت توسعه مدل‌های زبانی دقیق‌تر، کارآمدتر و قابل اعتمادتر است که می‌توانند در کاربردهای مختلف NLP مورد استفاده قرار گیرند. علاوه بر این، در دسترس قرار گرفتن کدها و داده‌های این تحقیق، فرصتی را برای سایر محققان فراهم می‌کند تا با استفاده از این یافته‌ها، به پیشرفت‌های بیشتری در این زمینه دست یابند.