در دنیای پردازش زبان طبیعی (NLP)، یکی از چالش‌های بنیادین و دیرینه، درک معنای دقیق واژگان در بافت‌های مختلف است. یک واژه می‌تواند بسته به جمله‌ای که در آن به کار رفته، معانی کاملاً متفاوتی داشته باشد. این پدیده که به آن «چندمعنایی» (Polysemy) می‌گویند، چالشی جدی برای سیستم‌های هوش مصنوعی ایجاد می‌کند. مقاله «TransWiC» که در کارگاه معتبر SemEval-2021 ارائه شده است، به طور مستقیم به این مسئله می‌پردازد. وظیفه‌ی تعریف‌شده در این چالش، ابهام‌زدایی واژه در بافت (Word-in-Context یا WiC) نام دارد و هدف آن تشخیص این است که آیا یک واژه در دو جمله مختلف، معنای یکسانی دارد یا خیر.

برای مثال، واژه «شیر» در زبان فارسی را در نظر بگیرید:

• جمله ۱: کودک برای صبحانه یک لیوان شیر گرم نوشید. (معنا: مایع خوراکی)
• جمله ۲: شیر، سلطان جنگل، با غرور در دشت قدم می‌زد. (معنا: حیوان درنده)
• جمله ۳: تعمیرکار شیر آشپزخانه را تعویض کرد. (معنا: وسیله کنترل جریان مایع)

یک انسان به سادگی تفاوت معنایی «شیر» را در این جملات درک می‌کند، اما برای یک ماشین این کار بسیار دشوار است. اهمیت حل این مسئله در آن است که سنگ بنای بسیاری از کاربردهای پیشرفته NLP مانند ترجمه ماشینی، سیستم‌های پرسش و پاسخ، خلاصه‌سازی متون و بازیابی اطلاعات است. مقاله TransWiC با ارائه یک رویکرد نوین و مستقل از زبان، گامی مهم در جهت حل این چالش در مقیاس چندزبانه و فرازبانی برداشته است و نشان می‌دهد که چگونه می‌توان بدون نیاز به منابع زبانی پیچیده و دست‌ساز، به نتایج درخشان دست یافت.

این مقاله حاصل پژوهش هانسی هتیاراچی (Hansi Hettiarachchi) و تاریندو راناسینگه (Tharindu Ranasinghe)، دو پژوهشگر فعال در حوزه هوش مصنوعی و پردازش زبان طبیعی است. این پژوهشگران در دانشگاه‌هایی مانند ولورهمپتون و استون فعالیت داشته‌اند و سوابق درخشانی در زمینه توسعه مدل‌های زبانی و شرکت در رقابت‌های علمی دارند. ارائه این مقاله در چارچوب کارگاه SemEval (Semantic Evaluation) انجام شده که یکی از معتبرترین رویدادهای علمی برای ارزیابی و مقایسه سیستم‌های تحلیل معنایی است. شرکت در چالش‌های SemEval به پژوهشگران این امکان را می‌دهد که رویکردهای خود را بر روی یک مجموعه داده استاندارد و در رقابت با دیگر تیم‌های برجسته از سراسر جهان بسنجند. مقاله TransWiC برای «وظیفه ۲» (Task 2) این رویداد در سال ۲۰۲۱ ارائه شد که به طور خاص بر ابهام‌زدایی چندزبانه و فرازبانی واژه در بافت متمرکز بود.

مقاله TransWiC با این مقدمه آغاز می‌شود که تشخیص یکسان بودن یا نبودن معنای یک واژه در دو بافت مختلف، یک حوزه تحقیقاتی کلیدی در NLP است. نویسندگان اشاره می‌کنند که بسیاری از رویکردهای پیشین به شدت به منابع مختص زبان (Language-specific resources) مانند فرهنگ‌های لغت، شبکه‌های معنایی (مانند WordNet برای زبان انگلیسی) و پیکره‌های برچسب‌گذاری‌شده متکی بودند. این وابستگی، تعمیم‌پذیری این روش‌ها را به زبان‌های دیگر، به‌ویژه زبان‌های کم‌منبع، دشوار می‌سازد.

با در نظر گرفتن این محدودیت، TransWiC یک رویکرد کاملاً متفاوت را در پیش می‌گیرد. راهکار پیشنهادی آن‌ها صرفاً بر پایه مدل‌های ترانسفورمر از پیش آموزش‌دیده (Pre-trained Transformer Models) استوار است و از هیچ‌گونه پردازش یا منبع زبانی خاصی استفاده نمی‌کند. این ویژگی به مدل اجازه می‌دهد تا برای زبان‌های مختلف، حتی زبان‌هایی که در داده‌های آموزشی به طور گسترده حضور نداشته‌اند، کارایی قابل قبولی داشته باشد. علی‌رغم این رویکرد حداقلی و عدم استفاده از منابع اضافی، بهترین مدل ارائه‌شده توسط آن‌ها توانست به دقت ۰.۹۰ در زیروظیفه انگلیسی-انگلیسی دست یابد که بسیار نزدیک به بهترین نتیجه ثبت‌شده در کل رقابت (۰.۹۳) است. علاوه بر این، رویکرد آن‌ها در سایر زوج‌های زبانی تک‌زبانه و فرازبانی نیز نتایج رضایت‌بخشی را به همراه داشت.

قلب تپنده رویکرد TransWiC، معماری ترانسفورمر (Transformer) است. این معماری که پایه‌گذار مدل‌های زبانی مدرنی مانند BERT، GPT و XLM-R است، با مکانیزم توجه (Attention Mechanism) خود قادر است روابط پیچیده میان واژگان در یک جمله را درک کرده و برای هر واژه، یک بازنمایی عددی (Embedding) حساس به بافت تولید کند. این بازنمایی، معنای واژه را در آن جمله خاص به خوبی منعکس می‌کند.

پژوهشگران در این مقاله، مسئله WiC را به یک وظیفه طبقه‌بندی دوتایی (Binary Classification) تبدیل کرده‌اند. فرآیند کار به شرح زیر است:

• ورودی مدل: دو جمله به مدل داده می‌شود. در هر جمله، یک واژه هدف مشخص شده است. این دو جمله با یک توکن جداکننده ویژه (مانند [SEP]) به یکدیگر متصل شده و به عنوان یک ورودی واحد به مدل ترانسفورمر ارائه می‌شوند.
• پردازش: از مدل‌های ترانسفورمر چندزبانه مانند XLM-RoBERTa استفاده شده است. این مدل‌ها بر روی حجم عظیمی از متون از بیش از ۱۰۰ زبان مختلف آموزش دیده‌اند و یک فضای معنایی مشترک بین زبان‌ها ایجاد کرده‌اند. در نتیجه، مدل می‌تواند بدون نیاز به ترجمه، مفاهیم را در زبان‌های مختلف درک کند.
• خروجی مدل: پس از پردازش ورودی، مدل یک بازنمایی کلی از جفت جمله تولید می‌کند. سپس یک لایه طبقه‌بند ساده (Classifier) بر روی این بازنمایی قرار می‌گیرد تا یکی از دو برچسب را پیش‌بینی کند: True (واژه هدف در هر دو جمله معنای یکسانی دارد) یا False (معانی متفاوت هستند).

نکته کلیدی در این روش‌شناسی، استقلال کامل آن از منابع خارجی است. مدل تنها با تکیه بر دانش زبانی که در طول فرآیند پیش‌آموزش خود کسب کرده، قادر به انجام این وظیفه پیچیده معنایی است. این ویژگی، آن را به یک راه‌حل ایده‌آل برای محیط‌های چندزبانه و فرازبانی تبدیل می‌کند، جایی که ایجاد منابع اختصاصی برای هر زبان غیرعملی است.

نتایج ارائه‌شده در مقاله TransWiC نشان‌دهنده قدرت و کارایی رویکرد مبتنی بر ترانسفورمر است. یافته‌های اصلی را می‌توان به چند بخش تقسیم کرد:

• عملکرد عالی در زبان انگلیسی: در رقابتی‌ترین بخش چالش، یعنی زیروظیفه تک‌زبانه انگلیسی، مدل TransWiC به دقت ۹۰٪ دست یافت. این نتیجه تنها ۳ درصد از بهترین سیستم شرکت‌کننده در کل رقابت کمتر بود. این دستاورد نشان می‌دهد که یک رویکرد عمومی و مستقل از منابع می‌تواند با روش‌های پیچیده‌تر که از منابع زبانی خاص انگلیسی بهره می‌برند، رقابت کند.
• قابلیت تعمیم‌پذیری فرازبانی: موفقیت اصلی این رویکرد در وظایف فرازبانی (Cross-lingual) بود. مدل نشان داد که می‌تواند با موفقیت تشخیص دهد که آیا یک واژه انگلیسی در یک جمله، معنای مشابهی با ترجمه آن واژه در زبانی دیگر (مانند فرانسوی یا چینی) در جمله‌ای دیگر دارد یا خیر. این قابلیت به لطف استفاده از مدل‌های چندزبانه مانند XLM-R محقق شده است که بازنمایی‌های معنایی هم‌ترازی بین زبان‌های مختلف ایجاد می‌کنند.
• کارایی در زبان‌های مختلف: این سیستم در سایر زوج‌های تک‌زبانه (مانند فرانسوی-فرانسوی یا روسی-روسی) نیز نتایج «رضایت‌بخش» کسب کرد. اگرچه ممکن است دقت در این زبان‌ها کمی پایین‌تر از انگلیسی باشد، اما خود این واقعیت که مدل بدون هیچ‌گونه داده آموزشی اختصاصی برای آن زبان‌ها قادر به انجام وظیفه است، یک پیشرفت مهم محسوب می‌شود.
• سادگی و اثربخشی: یکی از مهم‌ترین یافته‌ها این بود که یک رویکرد ساده (اتصال دو جمله و طبقه‌بندی آن‌ها) با استفاده از یک مدل از پیش آموزش‌دیده قدرتمند، می‌تواند به نتایجی در سطح بهترین‌های جهان دست یابد. این امر پیچیدگی لازم برای ساخت سیستم‌های معنایی پیشرفته را به شدت کاهش می‌دهد.

دستاوردها و کاربردهای پژوهشی مانند TransWiC بسیار گسترده و تأثیرگذار هستند. حل مسئله ابهام‌زدایی واژه به طور مستقیم بر بهبود عملکرد بسیاری از سیستم‌های هوشمند تأثیر می‌گذارد:

• ترجمه ماشینی (Machine Translation): سیستم‌های ترجمه برای انتخاب معادل صحیح یک واژه چندمعنا، باید معنای آن را در بافت مبدأ درک کنند. برای مثال، ترجمه واژه انگلیسی “bank” به فارسی نیازمند تشخیص این است که آیا منظور «بانک» (مؤسسه مالی) است یا «ساحل» (کنار رودخانه).
• جستجوی اطلاعات (Information Retrieval): یک موتور جستجوی هوشمند باید بتواند تفاوت میان جستجوی «جگوار» به عنوان یک خودرو و «جگوار» به عنوان یک حیوان را بر اساس کلمات دیگر در عبارت جستجو تشخیص دهد تا نتایج مرتبط‌تری را نمایش دهد.
• سیستم‌های پرسش و پاسخ (Question Answering): برای پاسخ دقیق به یک سؤال، سیستم باید معنای دقیق کلمات کلیدی در پرسش و متون منبع را تطبیق دهد.
• تحلیل احساسات (Sentiment Analysis): معنای یک واژه می‌تواند بار احساسی آن را تغییر دهد. یک سیستم WiC می‌تواند به درک دقیق‌تر احساسات بیان‌شده در متن کمک کند.

بزرگترین دستاورد TransWiC، دموکراتیزه کردن فناوری تحلیل معنایی است. این مقاله نشان داد که برای ساخت سیستم‌های کارآمد در زبان‌های مختلف، دیگر نیازی به سرمایه‌گذاری‌های هنگفت برای ایجاد منابع زبانی اختصاصی نیست. این امر راه را برای توسعه ابزارهای NLP پیشرفته برای زبان‌های کم‌برخوردار هموار می‌سازد و به ایجاد فناوری‌های زبانی عادلانه‌تر در سطح جهانی کمک می‌کند.

مقاله TransWiC یک نمونه برجسته از قدرت مدل‌های زبانی بزرگ و معماری ترانسفورمر در حل یکی از چالش‌های کلاسیک پردازش زبان طبیعی است. نویسندگان با ارائه یک رویکرد ساده، مقیاس‌پذیر و مستقل از زبان، توانستند نتایجی بسیار رقابتی در چالش معتبر SemEval-2021 کسب کنند. این پژوهش به وضوح نشان می‌دهد که پارادایم «پیش‌آموزش و تنظیم دقیق» (Pre-training and Fine-tuning) می‌تواند بدون نیاز به منابع زبانی دست‌ساز و پرهزینه، به درک عمیقی از معناشناسی دست یابد.

در نهایت، TransWiC نه تنها یک راه‌حل فنی موفق برای مسئله ابهام‌زدایی واژه ارائه می‌دهد، بلکه مسیر آینده پژوهش در زمینه NLP چندزبانه را نیز روشن می‌سازد. آینده‌ای که در آن سیستم‌های هوشمند می‌توانند معنا را نه تنها در یک زبان، بلکه در میان زبان‌ها و فرهنگ‌های گوناگون جهان درک کنند و این مرزها را از میان بردارند.