درک زبان طبیعی انسان، با تمام پیچیدگی‌ها، استعاره‌ها و اصطلاحاتش، یکی از بزرگترین چالش‌های هوش مصنوعی بوده است. مدل‌های زبانی بزرگ پیش‌آموزش‌دیده (PTLMs)، مانند خانواده GPT، توانایی شگفت‌انگیزی در تولید و درک متن از خود نشان داده‌اند، اما وقتی به عبارات اصطلاحی (Idiomatic Expressions) می‌رسند، اغلب با چالش مواجه می‌شوند. معنای یک اصطلاح، مانند «کاسه‌ای زیر نیم‌کاسه بودن» یا «پاشنه آشیل»، مجموع معنای کلمات تشکیل‌دهنده‌ی آن نیست. این ویژگی که به آن غیرترکیبی بودن (Non-compositionality) می‌گویند، مدل‌های زبانی را که عمدتاً بر اساس الگوهای آماری و معنای تحت‌اللفظی کلمات آموزش دیده‌اند، به اشتباه می‌اندازد.

مقاله “IEKG: A Commonsense Knowledge Graph for Idiomatic Expressions” رویکردی نوین و هوشمندانه برای حل این مشکل ارائه می‌دهد. به جای آموزش مدل‌ها صرفاً با مثال‌های متنی، این پژوهش یک گراف دانش متعارف (Commonsense Knowledge Graph) به نام IEKG را معرفی می‌کند که به طور خاص برای رمزگشایی مفاهیم پنهان در اصطلاحات طراحی شده است. اهمیت این کار در آن است که تلاش می‌کند به ماشین‌ها نوعی «شهود» یا درک عمیق‌تر از زبان ببخشد؛ درکی که فراتر از کلمات و مبتنی بر دانش فرهنگی و اجتماعی نهفته در اصطلاحات است. این پژوهش گامی مهم در جهت ساخت سیستم‌های هوش مصنوعی است که زبان را نه فقط به عنوان مجموعه‌ای از کلمات، بلکه به عنوان یک پدیده انسانی و فرهنگی درک می‌کنند.

این مقاله توسط تیمی از پژوهشگران برجسته به نام‌های زیهنگ زنگ (Ziheng Zeng)، کلن تن چنگ (Kellen Tan Cheng)، سریهاری ونکات نانیور (Srihari Venkat Nanniyur)، جیانینگ ژو (Jianing Zhou) و سوما بات (Suma Bhat) به رشته تحریر درآمده است. این تحقیق در حوزه «محاسبات و زبان» (Computation and Language) و «یادگیری ماشین» (Machine Learning) قرار می‌گیرد و نشان‌دهنده تلاقی استراتژیک این دو حوزه است.

زمینه این پژوهش، پیشرفت‌های اخیر در حوزه مدل‌های زبانی بزرگ و نیاز روزافزون به استدلال مبتنی بر دانش متعارف (Commonsense Reasoning) است. در حالی که مدل‌های پیشین سعی می‌کردند درک اصطلاحات را از طریق تنظیم دقیق (Fine-tuning) با حجم عظیمی از جملات حاوی اصطلاح بهبود بخشند، این روش‌ها اغلب به یادگیری سطحی منجر شده و قابلیت تعمیم به اصطلاحات جدید را نداشتند. مقاله IEKG با الهام از گراف‌های دانش موجود مانند ATOMIC2020، مسیری جدید را باز می‌کند که در آن، دانش ساختاریافته به طور مستقیم به مدل‌های زبانی تزریق می‌شود تا توانایی استنتاج و درک عمیق‌تری پیدا کنند.

پردازش و درک عبارات اصطلاحی (IE) همواره برای مدل‌های زبانی پیش‌آموزش‌دیده (PTLMs) یک چالش بوده است، زیرا معنای این عبارات غیرترکیبی است. برخلاف رویکردهای قبلی که با تنظیم دقیق مدل‌ها بر روی جملات حاوی اصطلاح، به دنبال بهبود درک آن‌ها بودند، این مقاله به ساخت IEKG، یک گراف دانش متعارف برای تفاسیر مجازی اصطلاحات، می‌پردازد. این گراف، توسعه‌ای بر گراف دانش معتبر ATOMIC2020 است و هدف آن تبدیل مدل‌های زبانی به «مدل‌های دانش» (Knowledge Models – KMs) است که قادر به رمزگذاری و استنتاج دانش متعارف مرتبط با کاربرد اصطلاحات هستند.

آزمایش‌ها نشان می‌دهند که می‌توان مدل‌های زبانی مختلف را با استفاده از IEKG به مدل‌های دانش تبدیل کرد. کیفیت گراف IEKG و توانایی مدل‌های دانش آموزش‌دیده از طریق ارزیابی‌های خودکار و انسانی تأیید شده است. نتایج کاربردی در حوزه درک زبان طبیعی نشان می‌دهد که مدلی که با دانش IEKG تقویت شده، نه تنها درک بهتری از اصطلاحات دارد، بلکه می‌تواند این درک را به اصطلاحاتی که در طول آموزش ندیده است نیز تعمیم دهد.

روش‌شناسی این پژوهش از دو مرحله اصلی تشکیل شده است: ساخت گراف دانش IEKG و سپس استفاده از آن برای آموزش مدل‌های دانش.

• مرحله اول: ساخت گراف دانش IEKG

  پژوهشگران کار خود را با گراف دانش ATOMIC2020 آغاز کردند. این گراف شامل میلیون‌ها رابطه دانش متعارف به صورت سه‌تایی‌های (رأس مبدأ، رابطه، رأس مقصد) است. برای مثال، یک سه‌تایی می‌تواند این باشد: (شخص X به شخص Y کمک می‌کند، xEffect، شخص Y احساس قدردانی می‌کند). نویسندگان این ساختار را برای عبارات اصطلاحی گسترش دادند. آنها برای هر اصطلاح، دانش متعارف مرتبط با معنای مجازی آن را استخراج کردند.

  به عنوان مثال، برای اصطلاح “spill the beans” (به فارسی: بند را آب دادن) که به معنای «فاش کردن یک راز» است، سه‌تایی‌های دانشی مانند این‌ها تولید شد:

  • (شخص X بند را آب می‌دهد، xIntent، قصدش اطلاع‌رسانی به دیگران است): این رابطه قصد و نیت پشت عمل را نشان می‌دهد.
  • (شخص X بند را آب می‌دهد، xEffect، دیگران از راز مطلع می‌شوند): این رابطه اثر و نتیجه عمل را توصیف می‌کند.
  • (شخص X بند را آب می‌دهد، xNeed، قبل از آن باید رازی برای فاش کردن وجود داشته باشد): این رابطه پیش‌نیازهای عمل را مشخص می‌کند.

  این فرآیند با استفاده از مدل‌های زبانی قدرتمند برای تولید دانش اولیه و سپس فیلتر کردن و اعتبارسنجی آن توسط انسان انجام شد تا یک منبع دانش باکیفیت و قابل اعتماد ایجاد شود.

• مرحله دوم: تبدیل مدل‌های زبانی به مدل‌های دانش (KMs)

  پس از ساخت IEKG، پژوهشگران از این گراف برای آموزش مدل‌های زبانی استفاده کردند. در این فرآیند، مدل یاد می‌گیرد که روابط منطقی درون گراف را درک کند. به جای خواندن متن صرف، مدل با سه‌تایی‌های دانش آموزش می‌بیند. وظیفه آموزشی آن «تکمیل گراف دانش» است؛ یعنی با داشتن دو جزء از یک سه‌تایی (مثلاً رأس مبدأ و رابطه)، جزء سوم (رأس مقصد) را پیش‌بینی کند.

  این رویکرد باعث می‌شود که مدل، دانش ساختاریافته و روابط علت و معلولی را «درونی‌سازی» کند. در نتیجه، مدل زبانی صرفاً یک پردازشگر متن باقی نمی‌ماند، بلکه به یک مدل دانش تبدیل می‌شود که می‌تواند درباره مفاهیم مجازی اصطلاحات استدلال کند.

ارزیابی‌های گسترده در این مقاله نتایج چشمگیری را به همراه داشت که می‌توان آنها را در چند بخش کلیدی خلاصه کرد:

• کیفیت بالای گراف IEKG: ارزیابی‌های انسانی نشان داد که دانش تولید شده در گراف IEKG از نظر منطقی درست، مرتبط و مفید است. این موضوع زیربنای موفقیت کل رویکرد را تشکیل می‌دهد.
• عملکرد برتر در استنتاج دانش: مدل‌های دانشی که با IEKG آموزش دیده بودند، در مقایسه با مدل‌های پایه، عملکرد بسیار بهتری در وظایف استنتاج دانش متعارف برای اصطلاحات داشتند. آنها می‌توانستند با دقت بالاتری نیت‌ها، اثرات و پیش‌نیازهای مرتبط با یک اصطلاح را پیش‌بینی کنند.
• بهبود درک اصطلاحات در کاربردهای عملی: در وظایف درک زبان طبیعی (NLU)، مانند تکمیل جمله یا پاسخ به سوالاتی که حاوی اصطلاحات بودند، مدل‌های تقویت‌شده با IEKG به طور معناداری از مدل‌های اصلی بهتر عمل کردند. این نشان می‌دهد که دانش تزریق‌شده مستقیماً به بهبود درک کاربردی منجر شده است.
• قابلیت تعمیم به اصطلاحات دیده‌نشده: شاید مهم‌ترین یافته این پژوهش، توانایی تعمیم‌پذیری (Generalizability) مدل‌های آموزش‌دیده بود. این مدل‌ها قادر بودند دانش متعارف معقولی را برای اصطلاحاتی که هرگز در طول فرآیند آموزش با آنها مواجه نشده بودند، استنتاج کنند. این یک مزیت بزرگ نسبت به روش‌های تنظیم دقیق است که معمولاً در مواجهه با داده‌های جدید شکست می‌خورند.

این پژوهش دستاوردهای نظری و کاربردی مهمی دارد که افق‌های جدیدی را در پردازش زبان طبیعی می‌گشاید:

• ساخت دستیاران مجازی و چت‌بات‌های هوشمندتر: سیستم‌هایی که با این روش تقویت شده‌اند، می‌توانند مکالمات طبیعی‌تر و انسانی‌تری داشته باشند. آنها درک می‌کنند وقتی کاربری می‌گوید «روی ابرها سیر می‌کنم» یا «از دنده چپ بلند شده‌ام».
• بهبود ترجمه ماشینی: ترجمه اصطلاحات یکی از دشوارترین بخش‌های ترجمه است. با درک معنای مجازی و دانش متعارف پشت یک اصطلاح، سیستم‌های ترجمه می‌توانند معادل‌های فرهنگی دقیق‌تری پیدا کنند.
• تحلیل احساسات دقیق‌تر: بسیاری از اصطلاحات بار احساسی قوی دارند. درک صحیح عباراتی مانند «دلم خون است» یا «بال درآورده‌ام» برای تحلیل دقیق احساسات در متون ضروری است.
• ارائه یک منبع داده ارزشمند: خود گراف IEKG یک منبع غنی و ساختاریافته برای جامعه پژوهشی است که می‌تواند در تحقیقات آینده برای درک زبان مجازی مورد استفاده قرار گیرد.
• معرفی یک متدولوژی نوین: رویکرد تبدیل مدل‌های زبانی به مدل‌های دانش برای درک زبان مجازی، یک چارچوب قدرتمند است که می‌تواند برای سایر پدیده‌های زبانی پیچیده مانند استعاره، کنایه و طنز نیز به کار گرفته شود.

مقاله “IEKG: A Commonsense Knowledge Graph for Idiomatic Expressions” یک راه‌حل خلاقانه و مؤثر برای یکی از چالش‌های دیرینه در هوش مصنوعی، یعنی درک عبارات اصطلاحی، ارائه می‌دهد. این پژوهش با فاصله گرفتن از روش‌های سنتی مبتنی بر یادگیری از متن خام، به سمت یک رویکرد مبتنی بر دانش ساختاریافته حرکت می‌کند. با ساخت گراف دانش IEKG و استفاده از آن برای آموزش مدل‌های دانش، نویسندگان نشان دادند که می‌توان به درک عمیق‌تر، دقیق‌تر و قابل تعمیم‌تری از زبان مجازی دست یافت.

این کار نه تنها عملکرد مدل‌های زبانی را در یک حوزه خاص بهبود می‌بخشد، بلکه راه را برای ساخت سیستم‌های هوش مصنوعی که دارای هوش فرهنگی و اجتماعی هستند، هموار می‌سازد. آینده هوش مصنوعی در گرو توانایی آن برای درک دنیای انسان‌هاست و زبان، با تمام ظرافت‌هایش، کلید ورود به این دنیاست. IEKG گامی محکم در این مسیر است.