در دنیای امروز که ارتباطات دیجیتال و شبکه‌های اجتماعی بخش جدایی‌ناپذیری از زندگی روزمره شده‌اند، پدیده‌ای به نام «کد-میکس» (Code-mixing) یا ترکیب زبان‌ها در یک مکالمه، به امری رایج تبدیل شده است. کاربران چندزبانه اغلب در یک جمله یا پاراگراف از واژگان و ساختارهای دستوری دو یا چند زبان به صورت ترکیبی استفاده می‌کنند. این پدیده، چالشی بزرگ برای سیستم‌های پردازش زبان طبیعی (NLP) محسوب می‌شود، زیرا مدل‌های سنتی که برای پردازش متون تک‌زبانه طراحی شده‌اند، در درک و تحلیل این متون ترکیبی با مشکل مواجه می‌شوند.

مقاله حاضر که توسط تیمی از محققان مرکز تحقیقات محاسبات (CIC) مؤسسه پلی‌تکنیک ملی مکزیک ارائه شده است، به این چالش مهم در زوج زبانی خاص کانادا-انگلیسی می‌پردازد. زبان کانادا (Kannada) یکی از زبان‌های دراویدی است که میلیون‌ها نفر در جنوب هند به آن تکلم می‌کنند و ترکیب آن با زبان انگلیسی در مکالمات روزمره و به‌ویژه در فضای مجازی بسیار شایع است. این مقاله یک مدل مبتنی بر معماری پیشرفته «ترانسفورمر» (Transformer) را برای تشخیص زبان هر واژه در متون کد-میکس کانادا-انگلیسی معرفی می‌کند. اهمیت این پژوهش در آن است که با ارائه یک راهکار دقیق برای «تشخیص زبان در سطح واژه» (Word-Level Language Identification)، راه را برای توسعه ابزارهای NLP پیشرفته‌تری مانند ترجمه ماشینی، تحلیل احساسات، و سیستم‌های پرسش و پاسخ برای جوامع چندزبانه هموار می‌سازد.

این مقاله حاصل همکاری یک تیم بین‌المللی از پژوهشگران برجسته در حوزه هوش مصنوعی و پردازش زبان طبیعی است. نویسندگان مقاله عبارتند از:

• آتنافو لامببو تونجا (Atnafu Lambebo Tonja)
• مسای گمدا ییگزو (Mesay Gemeda Yigezu)
• اولگا کولسنیکوا (Olga Kolesnikova)
• معین شاهیکی تاش (Moein Shahiki Tash)
• گریگوری سیدوروف (Grigori Sidorov)
• الکساندر گلبوک (Alexander Gelbukh)

این محققان وابسته به مرکز تحقیقات محاسبات (CIC) در مؤسسه پلی‌تکنیک ملی مکزیک هستند که یکی از مراکز پیشرو در تحقیقات علوم کامپیوتر در آمریکای لاتین به شمار می‌رود. این پژوهش در چارچوب یک رقابت علمی به نام CoLI-Kanglish که بخشی از کنفرانس معتبر ICON 2022 بود، ارائه شده است. این رقابت‌ها (Shared Tasks) با فراهم آوردن مجموعه داده‌های استاندارد و معیارهای ارزیابی یکسان، به پیشرفت علم در حوزه‌های تخصصی کمک شایانی می‌کنند و به محققان اجازه می‌دهند تا رویکردهای خود را در یک بستر عادلانه با یکدیگر مقایسه کنند.

چکیده مقاله به طور خلاصه بیان می‌کند که استفاده از داده‌های کد-میکس در تحقیقات پردازش زبان طبیعی در سال‌های اخیر توجه زیادی را به خود جلب کرده است. با گسترش نفوذ شبکه‌های اجتماعی، تشخیص زبان در متون کد-میکس به یک مسئله پژوهشی جذاب تبدیل شده است. این مقاله، سیستم ارائه‌شده توسط تیم CIC برای رقابت CoLI-Kanglish را تشریح می‌کند. در این پژوهش، نویسندگان استفاده از یک مدل مبتنی بر ترانسفورمر را برای تشخیص زبان در سطح واژه در متون ترکیبی کانادا-انگلیسی پیشنهاد می‌کنند. مدل پیشنهادی آن‌ها بر روی مجموعه داده CoLI-Kenglish توانسته است به نتایج قابل توجهی دست یابد: امتیاز F1 وزن‌دار 0.84 و امتیاز F1 ماکرو 0.61. این نتایج نشان‌دهنده کارایی بالای رویکرد مبتنی بر ترانسفورمر در حل این مسئله پیچیده است.

اساس رویکرد این مقاله، بهره‌گیری از معماری قدرتمند ترانسفورمر است که انقلابی در حوزه NLP ایجاد کرده است. در ادامه، جزئیات روش‌شناسی این تحقیق تشریح می‌شود:

• معماری ترانسفورمر: ترانسفورمرها، برخلاف مدل‌های قدیمی‌تر مانند RNN، از مکانیزمی به نام «توجه خودی» (Self-Attention) برای درک روابط میان واژگان در یک جمله، فارغ از فاصله آن‌ها، استفاده می‌کنند. این ویژگی به آن‌ها اجازه می‌دهد تا وابستگی‌های دوربرد و پیچیده در متن را به خوبی مدل‌سازی کنند. مدل‌های مشهوری مانند BERT و GPT بر پایه همین معماری ساخته شده‌اند.
• استفاده از مدل‌های از پیش آموزش‌دیده: محققان به احتمال زیاد از یک مدل زبانی چندزبانه از پیش آموزش‌دیده مانند mBERT (multilingual BERT) یا XLM-RoBERTa به عنوان پایه مدل خود استفاده کرده‌اند. این مدل‌ها بر روی حجم عظیمی از داده‌های متنی از ده‌ها زبان مختلف آموزش دیده‌اند و درکی عمومی از ساختار زبان‌های گوناگون دارند.
• فرایند تنظیم دقیق (Fine-tuning): پس از انتخاب مدل پایه، مرحله بعدی «تنظیم دقیق» آن بر روی مجموعه داده خاص این مسئله، یعنی CoLI-Kanglish، است. در این مرحله، وزن‌های مدل از پیش آموزش‌دیده با استفاده از داده‌های برچسب‌گذاری‌شده (متونی که زبان هر واژه در آن‌ها مشخص شده) به‌روزرسانی می‌شود تا مدل برای وظیفه مشخص تشخیص زبان کانادا-انگلیسی بهینه گردد.
• فرموله‌بندی مسئله: این وظیفه به عنوان یک مسئله «برچسب‌گذاری توالی» (Sequence Labeling) فرموله‌بندی می‌شود. به این معنا که مدل به ازای هر واژه (توکن) در جمله ورودی، یک برچسب زبان (مانند `EN` برای انگلیسی، `KN` برای کانادا، `NE` برای موجودیت نام‌گذاری‌شده، یا `O` برای سایر موارد) را پیش‌بینی می‌کند. برای مثال، برای جمله “Movie super ಚೆನ್ನಾಗಿತ್ತು bro”، مدل باید خروجی `[EN, EN, KN, EN]` را تولید کند.
• معیارهای ارزیابی: برای سنجش عملکرد مدل، از معیار F1-Score استفاده شده است.
  • F1-Score وزن‌دار (Weighted F1): این معیار در محاسبه میانگین، وزن بیشتری به کلاس‌های پرجمعیت‌تر (مثلاً واژگان انگلیسی که ممکن است در دیتاست فراوان‌تر باشند) می‌دهد. امتیاز 0.84 نشان‌دهنده عملکرد کلی بسیار خوب مدل است.
  • F1-Score ماکرو (Macro F1): این معیار به تمام کلاس‌ها وزن یکسانی می‌دهد و میانگین ساده F1-Score را برای همه کلاس‌ها محاسبه می‌کند. امتیاز 0.61 که پایین‌تر از امتیاز وزن‌دار است، ممکن است نشان دهد که عملکرد مدل بر روی کلاس‌های کم‌جمعیت‌تر (مثلاً واژگان کانادا یا سایر برچسب‌ها) ضعیف‌تر بوده است.

نتایج اصلی این پژوهش، توانایی بالای مدل‌های ترانسفورمری را در مواجهه با چالش‌های متون کد-میکس به اثبات می‌رساند. یافته‌های کلیدی را می‌توان به صورت زیر خلاصه کرد:

• کارایی بالا: دستیابی به امتیاز F1 وزن‌دار 0.84 یک دستاورد قابل توجه است و نشان می‌دهد که مدل در شناسایی زبان اکثر واژه‌ها موفق عمل کرده است. این دقت بالا، کاربردی بودن این رویکرد را در سناریوهای واقعی تأیید می‌کند.
• چالش عدم توازن داده‌ها: تفاوت میان امتیاز F1 وزن‌دار (0.84) و ماکرو (0.61) به یک چالش رایج در مجموعه داده‌های واقعی اشاره دارد: عدم توازن کلاس‌ها. این اختلاف نشان می‌دهد که مدل در تشخیص زبان غالب (احتمالاً انگلیسی) بسیار قوی‌تر از زبان‌های دیگر یا برچسب‌های نادرتر عمل می‌کند.
• مقابله با ابهامات: مدل‌های ترانسفورمری به دلیل درک زمینه‌ای قوی خود، می‌توانند با چالش‌هایی مانند واژگان مشترک بین دو زبان، کلمات آوانویسی‌شده (نوشتن کلمه انگلیسی با حروف کانادا و بالعکس) و موجودیت‌های نام‌گذاری‌شده (مانند اسامی افراد یا مکان‌ها) به شکل مؤثری برخورد کنند.

توسعه یک سیستم دقیق برای تشخیص زبان در سطح واژه، پیامدهای عملی گسترده‌ای دارد و دستاوردهای این مقاله فراتر از یک رقابت علمی است:

• بهبود ترجمه ماشینی: سیستم‌های ترجمه برای عملکرد صحیح در متون کد-میکس، ابتدا باید بدانند هر کلمه به چه زبانی تعلق دارد تا بتوانند آن را به درستی ترجمه کنند.
• تحلیل دقیق‌تر احساسات: در تحلیل نظرات کاربران در شبکه‌های اجتماعی، درک دقیق هر واژه و زبان آن برای استخراج صحیح احساسات (مثبت، منفی یا خنثی) ضروری است.
• سیستم‌های پرسش و پاسخ هوشمند: این فناوری به دستیارهای صوتی و موتورهای جستجو کمک می‌کند تا پرسش‌های ترکیبی کاربران را بهتر درک کرده و پاسخ‌های مرتبط‌تری ارائه دهند. برای مثال، جستجوی “best ಹೋಟೆಲ್ in Bangalore”.
• فراهم کردن یک مدل پایه قوی: این پژوهش یک معیار و مدل پایه (Baseline) قدرتمند برای تحقیقات آینده در زمینه زبان‌های کد-میکس، به خصوص برای زبان‌های کمتر مورد توجه قرار گرفته مانند کانادا، فراهم می‌کند.
• پیشبرد NLP فراگیر: این نوع تحقیقات به ساخت ابزارهای هوش مصنوعی کمک می‌کند که برای جوامع چندزبانه طراحی شده‌اند و به جای تحمیل یک زبان واحد، خود را با الگوهای زبانی طبیعی کاربران تطبیق می‌دهند.

مقاله «مدل ترانسفورمری برای تشخیص زبان واژه‌محور در متون کد-میکس کانادا-انگلیسی» به طور مؤثری نشان می‌دهد که چگونه می‌توان از معماری‌های پیشرفته یادگیری عمیق برای حل یکی از چالش‌های مهم در پردازش زبان طبیعی مدرن استفاده کرد. نویسندگان با به‌کارگیری یک مدل مبتنی بر ترانسفورمر و تنظیم دقیق آن بر روی داده‌های تخصصی، به نتایج چشمگیری دست یافته و توانایی این رویکرد را برای تشخیص دقیق زبان هر واژه در متون پیچیده و ترکیبی به اثبات رسانده‌اند.

این پژوهش نه تنها یک راهکار عملی برای زوج زبانی کانادا-انگلیسی ارائه می‌دهد، بلکه به عنوان الگویی برای تحقیقات مشابه بر روی سایر زبان‌های کد-میکس در سراسر جهان، به ویژه در مناطقی مانند شبه‌قاره هند که چندزبانگی یک هنجار است، عمل می‌کند. کارهای آینده می‌تواند بر روی بهبود عملکرد مدل برای کلاس‌های نادر، استفاده از معماری‌های ترانسفورمر جدیدتر، و ساخت مجموعه داده‌های بزرگ‌تر و متنوع‌تر برای پوشش الگوهای کد-میکس پیچیده‌تر متمرکز شود. در نهایت، این تحقیق گامی مهم در جهت ساخت فناوری‌های زبانی هوشمندتر، دقیق‌تر و فراگیرتر برای همه کاربران در سراسر جهان است.