در دنیای پیچیده پردازش زبان طبیعی (NLP)، درک معنای کلمات و توانایی تمایز میان معانی مختلف یک کلمه در بافت‌های گوناگون، چالشی اساسی است. این توانایی که به «رفع ابهام معنای واژه» (Word Sense Disambiguation – WSD) معروف است، سنگ بنای بسیاری از کاربردهای پیشرفته NLP، از جمله ترجمه ماشینی، خلاصه‌سازی متن، و پرسش و پاسخ، محسوب می‌شود. در سال‌های اخیر، مدل‌های زبانی مبتنی بر معماری ترانسفورمر، انقلابی در این حوزه ایجاد کرده‌اند. این مدل‌ها قادرند نمایش‌های کلمه را به صورت «متنی» (contextual) تولید کنند که اطلاعات معنایی دقیقی را در خود جای داده‌اند. مقاله «بازخوانی LMMS: امبدینگ حسی مبتنی بر ترانسفورمر برای رفع ابهام و فراتر از آن» (LMMS Reloaded: Transformer-based Sense Embeddings for Disambiguation and Beyond) به بررسی عمیق‌تر این قابلیت‌ها و ارائه روشی نوآورانه برای بهره‌برداری از آن‌ها می‌پردازد.

این پژوهش توسط دنیل لوریه (Daniel Loureiro)، آلیپیو ماریو خورخه (Alípio Mário Jorge)، و خوزه کاماچو-کولادوس (Jose Camacho-Collados) ارائه شده است. این تیم تحقیقاتی در حوزه هوش مصنوعی و زبان‌شناسی محاسباتی فعالیت می‌کنند و تمرکز اصلی آن‌ها بر توسعه مدل‌های پیشرفته برای درک و تولید زبان طبیعی است. زمینه تحقیق این مقاله در تلاقی دو حوزه مهم قرار دارد: معناشناسی توزیعی (Distributional Semantics) و مدل‌های زبانی مبتنی بر ترانسفورمر. معناشناسی توزیعی بر این اصل استوار است که معنای یک واژه از طریق بافت‌هایی که در آن ظاهر می‌شود، تعیین می‌گردد. مدل‌های ترانسفورمر، با قابلیت درک روابط پیچیده بین کلمات در یک جمله یا متن، پتانسیل عظیمی برای پیاده‌سازی این اصل در مقیاس بزرگ دارند.

چکیده این مقاله بیان می‌کند که معناشناسی توزیعی مبتنی بر رویکردهای عصبی، ستون فقرات پردازش زبان طبیعی را تشکیل می‌دهد و ارتباطات شگفت‌انگیزی با نمایش معنا در انسان دارد. مدل‌های زبانی اخیر مبتنی بر ترانسفورمر، توانایی تولید بازنمایی‌های کلمه‌ای متنی را دارند که به سادگی از طریق خودنظارتی (self-supervision)، اطلاعات معنایی خاصی را به طور قابل اعتمادی منتقل می‌کنند. کارهای قبلی نشان داده‌اند که این بازنمایی‌های متنی می‌توانند برای نمایش دقیق مجموعه‌های معنایی بزرگ به عنوان امبدینگ‌های حسی (sense embeddings) مورد استفاده قرار گیرند، تا جایی که یک راه‌حل مبتنی بر فاصله برای وظایف WSD، بر مدل‌هایی که به طور خاص برای این کار آموزش دیده‌اند، برتری می‌یابد. با این حال، هنوز چیزهای زیادی وجود دارد که باید در مورد چگونگی استفاده از این مدل‌های زبانی عصبی (NLMs) برای تولید امبدینگ‌های حسی که بتوانند بهتر از توانایی‌های نمایش معنایی هر NLM بهره ببرند، آموخت.

این مقاله با معرفی یک رویکرد اصولی‌تر برای استفاده از اطلاعات از تمام لایه‌های NLMs، که با یک تحلیل کاوشی (probing analysis) بر روی ۱۴ نسخه NLM آگاه شده است، گامی فراتر می‌نهد. همچنین، تطبیق‌پذیری این امبدینگ‌های حسی را در مقایسه با مدل‌های خاص وظیفه (task-specific models) برجسته می‌کند و آن‌ها را علاوه بر WSD، بر روی چندین وظیفه مرتبط با معنا اعمال می‌نماید. در نهایت، یافته‌های غیرمنتظره‌ای در مورد تغییرات عملکرد لایه و مدل، و همچنین کاربردهای بالقوه برای وظایف پایین‌دستی (downstream tasks) مورد بحث قرار می‌گیرند.

روش‌شناسی تحقیق در این مقاله بر چند محور اصلی استوار است:

• استفاده از تمام لایه‌های مدل ترانسفورمر: برخلاف بسیاری از رویکردهای پیشین که تنها بر خروجی لایه‌های پایانی مدل‌های ترانسفورمر تکیه می‌کردند، این پژوهش یک رویکرد جامع‌تر را اتخاذ می‌کند. نویسندگان پیشنهاد می‌کنند که اطلاعات معنایی غنی در تمام لایه‌های مدل زبانی نهفته است و استفاده از ترکیبی هوشمندانه از این لایه‌ها می‌تواند منجر به امبدینگ‌های حسی قوی‌تری شود. برای این منظور، آن‌ها از یک تحلیل کاوشی (probing analysis) استفاده کرده‌اند. در این تحلیل، لایه‌های مختلف مدل‌های ترانسفورمر (۱۴ نسخه مختلف) مورد بررسی قرار می‌گیرند تا مشخص شود هر لایه چه نوع اطلاعات معنایی را رمزگذاری می‌کند. این بررسی به درک بهتر نحوه‌ی استخراج بهترین نمایش‌های حسی از مدل کمک می‌کند.
• تولید امبدینگ‌های حسی: پس از استخراج اطلاعات از لایه‌های مختلف، گام بعدی، تبدیل این اطلاعات به ساختارهای قابل استفاده برای وظایف معنایی است. این مقاله بر تولید امبدینگ‌های حسی تمرکز دارد. امبدینگ حسی، یک نمایش برداری (vector representation) از معنای یک کلمه در یک بافت خاص است که می‌تواند برای مقایسه معنایی با سایر کلمات یا مفاهیم استفاده شود. رویکرد جدید نویسندگان در تولید این امبدینگ‌ها، به گونه‌ای طراحی شده است که حداکثر بهره را از قابلیت‌های معنایی مدل ترانسفورمر ببرد.
• تطبیق‌پذیری و کاربرد در وظایف مختلف: یکی از نقاط قوت اصلی این تحقیق، تأکید بر تطبیق‌پذیری امبدینگ‌های حسی تولید شده است. نویسندگان این امبدینگ‌ها را صرفاً برای وظیفه WSD به کار نمی‌گیرند، بلکه آن‌ها را در طیف وسیعی از وظایف مرتبط با معنا، از جمله تشخیص حس کلمه، طبقه‌بندی معنایی، و حتی وظایف تولید متن، مورد ارزیابی قرار می‌دهند. این رویکرد نشان می‌دهد که امبدینگ‌های حسی تولید شده، صرفاً راه‌حل‌های خاص وظیفه نیستند، بلکه نمایش‌های معنایی عمومی و قدرتمندی را ارائه می‌دهند.
• مقایسه با مدل‌های خاص وظیفه: در بسیاری از کارهای پیشین، برای هر وظیفه NLP، مدل‌های اختصاصی با معماری خاص آن وظیفه طراحی و آموزش داده می‌شد. اما این مقاله نشان می‌دهد که امبدینگ‌های حسی تولید شده از مدل‌های ترانسفورمر، می‌توانند با رویکردی واحد، در وظایف متعدد به نتایج قابل رقابتی دست یابند، و حتی در برخی موارد، عملکرد بهتری از مدل‌های اختصاصی از خود نشان دهند.

نتایج این تحقیق یافته‌های مهم و گاه غیرمنتظره‌ای را آشکار ساخته است:

• برتری رویکرد چندلایه‌ای: همانطور که انتظار می‌رفت، استفاده از اطلاعات موجود در تمام لایه‌های مدل ترانسفورمر، منجر به تولید امبدینگ‌های حسی با کیفیت بالاتر نسبت به رویکردهایی که تنها بر لایه‌های پایانی تمرکز داشتند، شده است. تحلیل کاوشی نشان داد که لایه‌های میانی مدل‌ها، اطلاعات معنایی ظریف و خاصی را در خود جای داده‌اند که برای رفع ابهام و درک عمیق‌تر معنا، ضروری هستند.
• تطبیق‌پذیری بی‌سابقه: امبدینگ‌های حسی معرفی شده در این مقاله، توانسته‌اند عملکرد قابل توجهی را در طیف وسیعی از وظایف مرتبط با معنا، از جمله WSD، طبقه‌بندی معنایی، و حتی وظایف نیازمند درک معنایی پیچیده، از خود نشان دهند. این یافته بر پتانسیل این امبدینگ‌ها به عنوان یک ابزار استاندارد و قدرتمند برای کارهای مرتبط با معنا تأکید می‌کند.
• عملکرد متغیر مدل‌ها و لایه‌ها: یکی از یافته‌های جالب، مشاهده تفاوت‌های قابل توجه در عملکرد مدل‌های مختلف ترانسفورمر و لایه‌های متفاوت آن‌ها بود. برخی مدل‌ها در استخراج اطلاعات معنایی خاص بهتر عمل می‌کردند، در حالی که برخی دیگر برای نمایش کلی معنا مناسب‌تر بودند. این نشان می‌دهد که انتخاب مدل و استراتژی ترکیب لایه‌ها، می‌تواند تأثیر بسزایی در کیفیت امبدینگ‌های حسی نهایی داشته باشد.
• غلبه بر مدل‌های خاص وظیفه: نتایج آزمایش‌ها نشان داد که امبدینگ‌های حسی تعمیم‌یافته (generalizable) مبتنی بر ترانسفورمر، در بسیاری از موارد، توانسته‌اند عملکردی برابر یا حتی بهتر از مدل‌های طراحی شده به صورت اختصاصی برای وظایف خاص WSD ارائه دهند. این امر، مفهوم «یادگیری انتقالی» (transfer learning) را در حوزه معناشناسی تقویت می‌کند.

دستاورد اصلی این مقاله، ارائه یک چارچوب روش‌شناختی برای تولید امبدینگ‌های حسی قدرتمند و قابل تعمیم است که از قابلیت‌های عمیق مدل‌های زبانی مدرن بهره می‌برد. این دستاورد پیامدهای مهمی برای چندین حوزه دارد:

• بهبود چشمگیر در رفع ابهام معنای واژه (WSD): با استفاده از این امبدینگ‌های حسی، سیستم‌های WSD می‌توانند با دقت بسیار بالاتری معنای صحیح کلمات را در بافت‌های مختلف تشخیص دهند. این امر مستقیماً بر کیفیت ترجمه ماشینی، سیستم‌های پرسش و پاسخ، و تحلیل احساسات تأثیر مثبت می‌گذارد.
• پیشبرد درک معنایی در هوش مصنوعی: این تحقیق به ما کمک می‌کند تا درک عمیق‌تری از چگونگی نمایش معنا توسط مدل‌های عصبی پیدا کنیم. فهمیدن اینکه کدام لایه‌ها و کدام مدل‌ها برای چه نوع اطلاعات معنایی مناسب‌ترند، راه را برای طراحی مدل‌های هوشمندتر و کارآمدتر هموار می‌سازد.
• توسعه مدل‌های چندوظیفه‌ای (Multi-task Models): امبدینگ‌های حسی تعمیم‌یافته، امکان توسعه مدل‌هایی را فراهم می‌کنند که می‌توانند به طور همزمان چندین وظیفه مرتبط با معنا را انجام دهند، بدون نیاز به آموزش مدل‌های جداگانه برای هر وظیفه. این رویکرد باعث صرفه‌جویی در منابع محاسباتی و زمانی می‌شود.
• کاربرد در تجزیه و تحلیل زبان‌شناسی: این روش‌ها می‌توانند به زبان‌شناسان نیز کمک کنند تا الگوهای معنایی پیچیده در زبان را با ابزارهای محاسباتی قوی‌تر بررسی کنند.
• مبنایی برای تحقیقات آینده: این مقاله پایه‌ای محکم برای تحقیقات آینده در زمینه مدل‌سازی معنا، تولید نمایش‌های زبانی کارآمدتر، و توسعه هوش مصنوعی با قابلیت درک زبانی عمیق‌تر فراهم می‌آورد.

به عنوان مثال، در جمله “شیر در قفس پرید”، مدل‌های سنتی ممکن است در تشخیص اینکه منظور از “شیر” حیوان است یا نوشیدنی، دچار مشکل شوند. اما با استفاده از امبدینگ‌های حسی مبتنی بر ترانسفورمر، که در این مقاله توسعه یافته‌اند، مدل می‌تواند با در نظر گرفتن بافت “قفس” و “پریدن”، به طور قطعی تشخیص دهد که منظور، حیوان است. این سطح از درک معنایی، برای بسیاری از کاربردهای پیشرفته NLP حیاتی است.

مقاله «بازخوانی LMMS: امبدینگ حسی مبتنی بر ترانسفورمر برای رفع ابهام و فراتر از آن» با ارائه یک رویکرد نوین و اصولی، گامی مهم در جهت بهره‌برداری حداکثری از قدرت مدل‌های زبانی مبتنی بر ترانسفورمر برای وظایف معنایی برداشته است. نویسندگان با کاوش در تمام لایه‌های این مدل‌ها و ترکیب هوشمندانه اطلاعات آن‌ها، موفق به تولید امبدینگ‌های حسی شده‌اند که نه تنها در وظیفه سنتی رفع ابهام معنای واژه، بلکه در طیف وسیعی از وظایف مرتبط با معنا، عملکردی درخشان از خود نشان داده‌اند. تطبیق‌پذیری و تعمیم‌پذیری این امبدینگ‌ها، آن‌ها را به ابزاری قدرتمند برای پیشبرد مرزهای هوش مصنوعی در زمینه درک زبان تبدیل کرده است.

یافته‌های این تحقیق، دریچه‌ای نو به سوی درک چگونگی نمایش معنا در مدل‌های عصبی می‌گشاید و مسیر را برای توسعه نسل بعدی سیستم‌های پردازش زبان طبیعی هموار می‌سازد. این پژوهش نشان می‌دهد که با رویکردهای مناسب، می‌توان از قابلیت‌های پنهان مدل‌های زبانی موجود، بهترین استفاده را برد و به نتایج چشمگیر و کاربردی دست یافت.