زبان انسان سرشار از پیچیدگی‌ها و ظرافت‌هایی است که ماشین‌ها در درک آن با چالش‌های جدی روبرو هستند. یکی از بزرگترین این چالش‌ها، درک زبان مجازی و اصطلاحات (Idioms) است. اصطلاحات عباراتی هستند که معنای آن‌ها از مجموع معنای کلمات تشکیل‌دهنده‌شان به دست نمی‌آید. برای مثال، وقتی یک فارسی‌زبان می‌گوید «پته کسی را روی آب ریختن»، منظور او انجام یک عمل فیزیکی نیست، بلکه فاش کردن راز یک شخص است. سیستم‌های هوش مصنوعی که زبان را به صورت تحت‌اللفظی پردازش می‌کنند، در مواجهه با چنین عباراتی دچار سردرگمی می‌شوند و پاسخ‌های نامناسب یا بی‌ربط تولید می‌کنند.

مقاله “Vector Representations of Idioms in Conversational Systems” نوشته‌ی Tosin Adewumi و همکارانش، به طور مستقیم به این مشکل می‌پردازد. اهمیت این پژوهش در آن است که تلاش می‌کند تا یکی از انسانی‌ترین و در عین حال پیچیده‌ترین جنبه‌های زبان را به سیستم‌های مکالمه‌ای (مانند چت‌بات‌ها و دستیارهای مجازی) آموزش دهد. در دنیایی که تعامل انسان و ماشین روزبه‌روز در حال افزایش است، توانایی ماشین در درک زبان مجازی، گامی حیاتی به سوی ایجاد ارتباطی طبیعی‌تر، کارآمدتر و رضایت‌بخش‌تر محسوب می‌شود. این پژوهش نه تنها بر بهبود کیفیت چت‌بات‌ها تأثیرگذار است، بلکه پیامدهایی برای حوزه‌های دیگر پردازش زبان طبیعی مانند ترجمه ماشینی و موتورهای جستجو نیز به همراه دارد.

این مقاله توسط تیمی از پژوهشگران به نام‌های Tosin Adewumi، Foteini Liwicki و Marcus Liwicki به رشته تحریر درآمده است. این پژوهش در حوزه «محاسبات و زبان» (Computation and Language) قرار می‌گیرد که یکی از شاخه‌های اصلی علوم کامپیوتر و هوش مصنوعی است. زمینه اصلی این تحقیق، پردازش زبان طبیعی (NLP) است؛ حوزه‌ای که هدف آن توانمندسازی کامپیوترها برای درک، تفسیر و تولید زبان انسانی است.

در دهه‌های اخیر، مدل‌های زبانی بزرگ (LLMs) مبتنی بر معماری ترنسفورمر، انقلابی در NLP ایجاد کرده‌اند. با این حال، اکثر این مدل‌ها عمدتاً بر روی متون عمومی و رسمی آموزش دیده‌اند و در درک جنبه‌های ظریف و غیررسمی زبان مانند کنایه، طنز و اصطلاحات، همچنان با ضعف‌هایی مواجه هستند. این مقاله دقیقاً در مرز این چالش قرار گرفته و سعی دارد با استفاده از تکنیک‌های پیشرفته و داده‌های تخصصی، این شکاف را پر کند و مدل‌هایی هوشمندتر و آگاه‌تر از نظر فرهنگی و زبانی توسعه دهد.

پژوهشگران در این مقاله نشان می‌دهند که یک سیستم مکالمه‌ای دامنه-باز (open-domain) که به طور خاص بر روی داده‌های حاوی اصطلاحات آموزش دیده باشد، پاسخ‌های بسیار مناسب‌تری به ورودی‌های شامل اصطلاحات تولید می‌کند. اصطلاحات بخش جدایی‌ناپذیر مکالمات روزمره در فرهنگ‌ها و زبان‌های مختلف هستند، اما چالشی بزرگ برای سیستم‌های NLP در وظایفی مانند بازیابی اطلاعات (IR)، ترجمه ماشینی (MT) و هوش مصنوعی مکالمه‌ای به شمار می‌روند.

محققان از مجموعه داده PIE-English idioms corpus برای دو وظیفه اصلی استفاده کردند:

• طبقه‌بندی (Classification): تشخیص اینکه آیا یک عبارت در جمله به معنای اصطلاحی خود به کار رفته است یا معنای تحت‌اللفظی دارد.
• تولید مکالمه (Conversation Generation): ساختن یک پاسخ مرتبط و طبیعی به جمله‌ای که حاوی یک اصطلاح است.

نتایج این تحقیق چشمگیر بود. در وظیفه طبقه‌بندی، آن‌ها با استفاده از مدل پیشرفته T5 به معیار F1 برابر با ۹۸٪ دست یافتند که یک نتیجه‌ی پیشگام (State-of-the-Art) محسوب می‌شود. در وظیفه تولید مکالمه، مدل آموزش‌دیده بر روی اصطلاحات (یکی از سه نسخه مدل DialoGPT) در ۷۱.۹٪ از موارد، پاسخ‌های مناسب‌تری در مقایسه با مدل مشابهی که این آموزش تخصصی را ندیده بود، تولید کرد.

رویکرد این تحقیق بر پایه استفاده از مدل‌های زبانی ترنسفورمری پیشرفته و تنظیم دقیق (Fine-tuning) آن‌ها بر روی یک مجموعه داده تخصصی استوار است.

مجموعه داده (Dataset)

پایه و اساس این پژوهش، مجموعه داده Potential Idiomatic Expression (PIE)-English idioms corpus است. این مجموعه داده شامل جملاتی است که عبارات اصطلاحی در آن‌ها به کار رفته است. ویژگی مهم این دیتاست آن است که برای هر عبارت، زمینه‌هایی ارائه می‌دهد که در آن هم معنای اصطلاحی و هم معنای تحت‌اللفظی ممکن است. این ویژگی برای آموزش مدل جهت تشخیص تفاوت این دو کاربرد، بسیار حیاتی است.

وظیفه اول: طبقه‌بندی اصطلاحات

برای این کار، از مدل T5 (Text-to-Text Transfer Transformer) استفاده شد. T5 یک مدل قدرتمند است که هر وظیفه NLP را به صورت یک مسئله «متن-به-متن» فرمول‌بندی می‌کند. پژوهشگران این مدل را بر روی داده‌های PIE تنظیم دقیق کردند تا بتواند با دریافت یک جمله، تشخیص دهد که عبارت مورد نظر به صورت اصطلاحی به کار رفته است یا خیر. خروجی مدل یک برچسب ساده (مثلاً “idiomatic” یا “literal”) است.

وظیفه دوم: تولید مکالمه

در این بخش، مدل DialoGPT (Dialogue Generative Pre-trained Transformer) که به طور خاص برای ساخت سیستم‌های مکالمه‌ای طراحی شده است، به کار گرفته شد. محققان سه نسخه از این مدل را آزمایش کردند:

• یک مدل DialoGPT استاندارد که هیچ آموزش اضافه‌ای ندیده بود (به عنوان خط پایه).
• یک مدل که بر روی داده‌های عمومی مکالمه‌ای تنظیم دقیق شده بود.
• مدل اصلی تحقیق که علاوه بر داده‌های عمومی، بر روی مجموعه داده اصطلاحات PIE نیز تنظیم دقیق شده بود.

روش‌های ارزیابی

عملکرد مدل‌ها با دو روش ارزیابی شد:

• ارزیابی خودکار (Automatic Metric): از معیار Perplexity استفاده شد که نشان می‌دهد مدل چقدر از کلمه بعدی در یک توالی شگفت‌زده می‌شود (مقدار کمتر بهتر است). این معیار یک ارزیابی کمی از روانی متن تولید شده ارائه می‌دهد.
• ارزیابی انسانی (Human Evaluation): این بخش کلیدی‌ترین قسمت ارزیابی بود. از داوران انسانی خواسته شد تا پاسخ‌های تولید شده توسط مدل‌ها را بر اساس میزان تناسب، طبیعی بودن و درک صحیح از اصطلاح، رتبه‌بندی کنند. این روش، ارزیابی کیفی و واقعی‌تری از عملکرد مدل ارائه می‌دهد.

نتایج این تحقیق به وضوح موفقیت‌آمیز بودن رویکرد پیشنهادی را نشان می‌دهد.

نتایج شگفت‌انگیز در طبقه‌بندی

مدل T5 پس از تنظیم دقیق، به یک امتیاز ماکرو F1 برابر با ۹۸٪ در وظیفه تشخیص اصطلاحات دست یافت. این نتیجه که به عنوان State-of-the-Art (SoTA) شناخته می‌شود، نشان می‌دهد که مدل‌های ترنسفورمری مدرن در صورت دسترسی به داده‌های مناسب، می‌توانند با دقت فوق‌العاده بالایی تفاوت میان کاربرد تحت‌اللفظی و مجازی عبارات را درک کنند.

برتری قاطع در تولید مکالمه

مهم‌ترین یافته این مقاله در بخش تولید مکالمه به دست آمد. ارزیابی انسانی نشان داد که مدل DialoGPT که بر روی مجموعه داده اصطلاحات آموزش دیده بود، در ۷۱.۹٪ از موارد پاسخ‌هایی تولید کرد که از نظر داوران انسانی «مناسب‌تر» از پاسخ‌های مدل استاندارد بود. این تفاوت آماری قابل توجه، فرضیه اصلی مقاله را اثبات می‌کند: آموزش هدفمند بر روی زبان مجازی، توانایی مدل را برای تعامل طبیعی به شدت افزایش می‌دهد.

برای مثال، در پاسخ به ورودی «I have to face the music tomorrow about my project deadline» (فردا باید تاوان تأخیر در پروژه‌ام را پس بدهم):

• پاسخ مدل استاندارد (احتمالی): ?What kind of music are you facing (با چه نوع موسیقی روبرو هستی؟) – که نشان‌دهنده درک تحت‌اللفظی و اشتباه است.
• پاسخ مدل آموزش‌دیده (احتمالی): I hope it goes well for you. Is there anything I can do to help (امیدوارم همه چیز خوب پیش بره. کاری هست که بتونم برای کمک انجام بدم؟) – که نشان‌دهنده درک صحیح معنای اصطلاحی (مواجهه با عواقب) است.

این پژوهش دستاوردهای نظری و عملی متعددی دارد:

• سیستم‌های مکالمه‌ای انسانی‌تر: دستیارهای مجازی مانند سیری و الکسا، و چت‌بات‌های خدمات مشتری می‌توانند با درک اصطلاحات، تعاملاتی بسیار طبیعی‌تر و مفیدتر با کاربران داشته باشند و از پاسخ‌های رباتیک و آزاردهنده پرهیز کنند.
• بهبود ترجمه ماشینی: یکی از بزرگترین ضعف‌های ترجمه ماشینی، ترجمه تحت‌اللفظی اصطلاحات است. تکنیک‌های توسعه‌یافته در این مقاله می‌تواند به سیستم‌های ترجمه کمک کند تا معادل صحیح و متناسب با فرهنگ زبان مقصد را برای اصطلاحات پیدا کنند.
• افزایش دقت موتورهای جستجو: موتورهای جستجو می‌توانند با درک معنای واقعی کوئری‌های حاوی اصطلاحات، نتایج مرتبط‌تری را به کاربران نمایش دهند.
• مشارکت در جامعه متن-باز: یکی از مهم‌ترین دستاوردهای این تیم، به اشتراک‌گذاری عمومی یافته‌هایشان است. آن‌ها چک‌پوینت مدل، نسخه دمو و کدهای خود را در پلتفرم HuggingFace منتشر کرده‌اند. این اقدام به دیگر محققان و توسعه‌دهندگان اجازه می‌دهد تا به سادگی از نتایج این کار استفاده کرده، آن را بازتولید کنند و بر پایه آن، سیستم‌های جدیدی بسازند.

مقاله «نمایش‌های برداری اصطلاحات در سیستم‌های مکالمه‌ای» به طور مؤثری نشان می‌دهد که آموزش تخصصی مدل‌های زبانی بر روی داده‌های حاوی زبان مجازی، یک راهکار کلیدی برای غلبه بر یکی از موانع دیرینه در مسیر دستیابی به هوش مصنوعی واقعاً هوشمند است. این پژوهش با دستیابی به نتایج پیشگام در طبقه‌بندی اصطلاحات و بهبود چشمگیر در کیفیت پاسخ‌های مکالمه‌ای، ثابت می‌کند که درک ظرافت‌های زبان انسانی برای ماشین‌ها امری ممکن است.

این کار راه را برای تحقیقات آینده در زمینه درک دیگر اشکال زبان مجازی مانند استعاره، کنایه و طنز هموار می‌کند. با ادامه این مسیر، می‌توانیم به آینده‌ای امیدوار باشیم که در آن سیستم‌های هوش مصنوعی نه تنها به عنوان ابزارهای پردازش اطلاعات، بلکه به عنوان شرکای مکالمه‌ای فهیم و آگاه از نظر فرهنگی عمل کنند.