در دهه‌های اخیر، مدل‌های زبان بزرگ (LLMs) انقلابی در حوزه پردازش زبان طبیعی (NLP) و درک زبان طبیعی (NLU) ایجاد کرده‌اند. این مدل‌ها توانایی شگفت‌انگیزی در تولید متن، ترجمه، و پاسخ به سوالات از خود نشان داده‌اند. اما یک پرسش بنیادین همواره مطرح بوده است: آیا این مدل‌ها واقعاً زبان را “درک” می‌کنند یا صرفاً الگوهای آماری را بازتولید می‌نمایند؟ یکی از جنبه‌های کلیدی درک انسانی از زبان، توانایی تشخیص و تفسیر بار عاطفی کلمات و جملات است. مقاله «بازنمایی اطلاعات عاطفی در جاسازی‌های کلمه» (Representing Affect Information in Word Embeddings) به قلم یوهان ژانگ و همکارانش، دقیقاً به همین موضوع می‌پردازد.

اهمیت این پژوهش در آن است که از تحلیل احساسات ساده (مثبت، منفی، خنثی) فراتر رفته و به بررسی ابعاد پیچیده‌تر و روانشناختی عواطف می‌پردازد. این مقاله تلاش می‌کند تا بفهمد آیا جاسازی‌های کلمه (Word Embeddings) – که در واقع بازنمایی‌های عددی کلمات در یک فضای برداری هستند – قادر به کدگذاری ابعاد سه‌گانه عواطف، یعنی ارزش (Valence)، انگیختگی (Arousal)، و تسلط (Dominance) هستند یا خیر. درک این موضوع نه تنها به فهم عمیق‌تر سازوکار مدل‌های زبانی کمک می‌کند، بلکه راه را برای ساخت سیستم‌های هوش مصنوعی همدل‌تر و باهوش‌تر از نظر احساسی هموار می‌سازد.

این مقاله توسط تیمی از پژوهشگران به نام‌های یوهان ژانگ (Yuhan Zhang)، ونچی چن (Wenqi Chen)، رویهان ژانگ (Ruihan Zhang) و شیاجی ژانگ (Xiajie Zhang) در حوزه «محاسبات و زبان» (Computation and Language) به انجام رسیده است. این حوزه میان‌رشته‌ای، بر تقاطع علوم کامپیوتر، زبان‌شناسی و هوش مصنوعی تمرکز دارد و به دنبال مدل‌سازی ریاضی و محاسباتی زبان انسان است.

این پژوهش در بستر یک جریان تحقیقاتی بزرگ‌تر قرار می‌گیرد که به «کاوش مدل‌ها» (Model Probing) معروف است. در این رویکرد، محققان تلاش می‌کنند تا با طراحی آزمایش‌های هدفمند، دانش و اطلاعاتی که در لایه‌های پنهان شبکه‌های عصبی بزرگ کدگذاری شده است را کشف کنند. این کار به مثابه باز کردن جعبه سیاه مدل‌های زبانی و فهمیدن این است که آن‌ها چگونه جهان و مفاهیم زبانی، از جمله احساسات را، در بازنمایی‌های داخلی خود سازمان‌دهی می‌کنند.

مقاله این پرسش اصلی را مطرح می‌کند: آیا و چگونه معنای عاطفی یک کلمه در جاسازی‌های کلمه که توسط شبکه‌های عصبی بزرگ از پیش آموزش‌دیده (مانند BERT) تولید شده‌اند، کدگذاری می‌شود؟ برای پاسخ به این پرسش، پژوهشگران از مجموعه داده‌های برچسب‌گذاری شده توسط انسان به عنوان “حقیقت زمینی” (Ground Truth) استفاده کردند. در این داده‌ها، هر کلمه بر اساس سه بعد اصلی عاطفی امتیازدهی شده است:

• ارزش (Valence): میزان مثبت یا منفی بودن یک حس را نشان می‌دهد (از غمگین تا شاد).
• انگیختگی (Arousal): شدت یا سطح انرژی یک حس را مشخص می‌کند (از آرام تا هیجان‌زده).
• تسلط (Dominance): میزان حس کنترل یا قدرت در یک موقعیت را بیان می‌کند (از مطیع تا مسلط).

محققان چهار نوع مختلف از جاسازی‌های کلمه را مورد بررسی قرار دادند که از نظر ایستا (static) یا متنی (contextualized) بودن و همچنین میزان تمرکز بر اطلاعات عاطفی در طول فرآیند آموزش، متفاوت بودند. نتایج نشان داد که مدل استاندارد و عمومی BERT به طور ذاتی و برجسته‌ای اطلاعات عاطفی کلمات انگلیسی را کدگذاری نمی‌کند. تنها زمانی که این مدل بر روی وظایف مرتبط با احساسات «تنظیم دقیق» (fine-tuned) شود یا در معرض زمینه‌های متنی سرشار از اطلاعات عاطفی قرار گیرد، جاسازی‌های تولید شده توسط آن می‌توانند این اطلاعات را به شکل معناداری بازنمایی کنند.

برای ارزیابی میزان اطلاعات عاطفی در جاسازی‌ها، نویسندگان یک رویکرد چند مرحله‌ای و دقیق را به کار گرفتند:

• انتخاب مدل‌ها و جاسازی‌ها: این پژوهش چهار نوع جاسازی را مقایسه کرد:
  1. جاسازی‌های ایستا: مدل‌هایی مانند GloVe که به هر کلمه یک بردار ثابت اختصاص می‌دهند، صرف نظر از جمله.
  2. جاسازی‌های BERT پایه (Vanilla BERT): بردار خروجی مدل BERT استاندارد که بر روی حجم عظیمی از متون عمومی آموزش دیده است.
  3. جاسازی‌های BERT تنظیم دقیق شده: مدلی که پس از آموزش اولیه، بر روی مجموعه داده‌های مرتبط با احساسات (مانند طبقه‌بندی توییت‌های احساسی) دوباره آموزش دیده است.
  4. جاسازی‌های متنی‌شده با زمینه عاطفی: جاسازی یک کلمه خاص در حالی که در یک جمله با بار عاطفی مشخص قرار گرفته است. برای مثال، کلمه «آتش» در جمله «آتش‌سوزی خانه را نابود کرد» در مقابل «کنار آتش گرم نشستیم».
• استفاده از حقیقت زمینی: به عنوان معیار سنجش، از پایگاه‌داده‌ای استفاده شد که در آن هزاران کلمه توسط انسان‌ها بر اساس ابعاد ارزش، انگیختگی و تسلط امتیازدهی شده بودند. این پایگاه‌داده، استاندارد طلایی برای ارزیابی مدل‌ها بود.
• آزمون‌های ارزیابی: دو نوع آزمون اصلی برای سنجش ارتباط بین جاسازی‌ها و امتیازات عاطفی انسانی انجام شد:
  • تحلیل همبستگی (Correlational Analysis): در این روش، میزان همبستگی بین فاصله کلمات در فضای برداری جاسازی‌ها با تفاوت امتیازات عاطفی آن‌ها سنجیده شد. همبستگی بالا به این معناست که ساختار فضای برداری مدل، ساختار فضای عاطفی انسانی را منعکس می‌کند.
  • وظایف طبقه‌بندی (Classification Tasks): یک طبقه‌بند ساده (مانند رگرسیون خطی) آموزش داده شد تا با ورودی گرفتن جاسازی یک کلمه، امتیازات VAD آن را پیش‌بینی کند. دقت بالای این طبقه‌بند نشان می‌دهد که اطلاعات لازم برای پیش‌بینی در جاسازی وجود دارد.

نتایج این پژوهش بسیار روشنگر بود و درک ما از قابلیت‌های مدل‌های زبانی را به چالش کشید:

• مدل BERT پایه، درک عاطفی ذاتی ندارد: مهم‌ترین یافته این بود که جاسازی‌های حاصل از مدل BERT عمومی و آموزش‌دیده به طور برجسته‌ای اطلاعات عاطفی را کدگذاری نمی‌کنند. این بدان معناست که صرفاً خواندن میلیاردها صفحه متن، به طور خودکار منجر به درک عمیق احساسات نمی‌شود. مدل ممکن است بداند کلمات «شادی» و «خوشحالی» به هم مرتبط هستند، اما لزوماً بازنمایی عددی آن‌ها منعکس‌کننده ارزش مثبت و انگیختگی بالای آن‌ها نیست.
• تنظیم دقیق (Fine-tuning) معجزه می‌کند: زمانی که مدل BERT بر روی وظایفی که به طور خاص با احساسات سروکار دارند (مانند تشخیص احساسات در متن) تنظیم دقیق شد، عملکرد آن در بازنمایی ابعاد VAD به شدت بهبود یافت. این نشان می‌دهد که مدل ظرفیت یادگیری این مفاهim را دارد، اما نیازمند داده‌های آموزشی هدفمند و برچسب‌گذاری شده است.
• زمینه (Context) پادشاه است: حتی بدون تنظیم دقیق، اگر یک کلمه در یک جمله با بار عاطفی مشخص قرار گیرد، جاسازی متنی آن کلمه اطلاعات عاطفی را بهتر منعکس می‌کند. این یافته قدرت اصلی مدل‌های متنی مانند BERT را نشان می‌دهد. بر خلاف مدل‌های ایستا، BERT می‌تواند معنای یک کلمه را بر اساس هم‌نشینی آن با کلمات دیگر تطبیق دهد و این تطبیق شامل ابعاد عاطفی نیز می‌شود.

نتایج این مقاله پیامدهای عملی و نظری مهمی دارد:

• تحلیل احساسات پیشرفته: شرکت‌ها می‌توانند از این رویکرد برای ساخت سیستم‌های تحلیل احساسات دقیق‌تری استفاده کنند که فراتر از «مثبت/منفی» عمل کرده و قادر به تشخیص شدت هیجان (انگیختگی) یا حس قدرت و ضعف (تسلط) در بازخورد مشتریان باشند.
• عامل‌های هوشمند همدل‌تر: دستیارهای مجازی و ربات‌های گفتگو (Chatbots) می‌توانند با درک بهتر وضعیت عاطفی کاربر، پاسخ‌های مناسب‌تر و همدلانه‌تری ارائه دهند. این امر تجربه کاربری را به شکل چشمگیری بهبود می‌بخشد.
• فناوری سلامت روان: ابزارهایی که برای پایش سلامت روان از طریق تحلیل متن (مانند یادداشت‌های روزانه یا پست‌های اجتماعی) طراحی شده‌اند، می‌توانند با بهره‌گیری از این ابعاد عاطفی، ارزیابی‌های دقیق‌تری از وضعیت روانی افراد ارائه دهند.
• شفاف‌سازی هوش مصنوعی: این پژوهش یک متدولوژی ارزشمند برای کاوش و درک دانش نهفته در مدل‌های زبانی ارائه می‌دهد و گامی مهم در جهت «تفسیرپذیری» (Interpretability) هوش مصنوعی است.

مقاله «بازنمایی اطلاعات عاطفی در جاسازی‌های کلمه» به طور قاطع نشان می‌دهد که مدل‌های زبان بزرگ، ماشین‌های درک احساسات همه‌فن‌حریف و ذاتی نیستند. دانش عاطفی، به‌ویژه در ابعاد پیچیده روانشناختی، یک ویژگی خودجوش در این مدل‌ها نیست، بلکه باید به طور صریح از طریق آموزش هدفمند (تنظیم دقیق) یا به طور ضمنی از طریق زمینه متنی غنی (context) به آن‌ها القا شود. این پژوهش تأکید می‌کند که توانایی‌های چشمگیر مدل‌های زبانی نباید ما را به این باور اشتباه برساند که آن‌ها زبان را مانند انسان درک می‌کنند. در عوض، این مقاله راه را برای مهندسی و آموزش مدل‌هایی هموار می‌کند که به طور هدفمند برای درک و تعامل با دنیای پیچیده احساسات انسانی طراحی شده‌اند و افق‌های جدیدی را در جهت ساخت هوش مصنوعی واقعاً هوشمند از نظر هیجانی می‌گشاید.