در دنیای امروز، پیشرفت‌های شگرف در حوزه هوش مصنوعی و به ویژه مدل‌های زبانی بزرگ (LLM) مانند GPT (Generative Pre-trained Transformers)، منجر به تغییرات اساسی در نحوه تعامل ما با زبان و درک معنای آن شده است. این تحولات، ضرورت انجام تحقیقات بین‌رشته‌ای را بیش از پیش نمایان می‌سازد؛ تحقیقاتی که به طور همزمان، دانش علوم شناختی و پردازش زبان طبیعی (NLP) را به کار گیرند. مقاله حاضر، با عنوان “ادغام مدل‌های زبانی بزرگ، نوار مغزی و ردیابی چشم برای طبقه‌بندی حالت عصبی در سطح کلمه در درک مطلب استنباط معنایی”، گامی مهم در این راستا به شمار می‌رود.

این پژوهش توسط تیمی متشکل از پژوهشگران برجسته در زمینه‌های مختلف از جمله علوم شناختی، مهندسی برق و کامپیوتر و هوش مصنوعی انجام شده است. اسامی نویسندگان این مقاله عبارتند از: یوهونگ ژانگ، کین لی، سوجال ناهاتا، تسنیا جمال، شیه-کوئن چنگ، گرت کاونبرگز و تزیی-پینگ جانگ. تخصص این افراد در حوزه‌هایی نظیر پردازش سیگنال‌های مغزی، مدل‌سازی زبان و ردیابی چشم، ترکیبی ایده‌آل برای بررسی پیچیدگی‌های درک زبان در انسان فراهم کرده است.

زمینه تحقیقاتی این مقاله در تقاطع علوم شناختی و پردازش زبان طبیعی قرار دارد. هدف اصلی، درک بهتر فرآیندهای شناختی درگیر در هنگام خواندن و استنباط معنا از متن است. به عبارت دیگر، پژوهشگران در تلاشند تا با استفاده از ابزارهای قدرتمند هوش مصنوعی و تحلیل داده‌های فیزیولوژیکی، دریابند که مغز انسان چگونه در هنگام خواندن، کلمات مختلف را پردازش کرده و ارتباط بین آن‌ها را درک می‌کند.

این مطالعه آزمایشی، به بررسی حالات عصبی افراد در طول انجام یک تکلیف درک مطلب مبتنی بر روابط معنایی می‌پردازد. محققان با تحلیل همزمان مدل‌های زبانی بزرگ (LLM)، داده‌های ردیابی چشم و داده‌های الکتروانسفالوگرافی (EEG)، به دنبال بررسی این موضوع هستند که مغز چگونه کلماتی را که درجه اهمیت متفاوتی نسبت به یک کلمه کلیدی دارند، پردازش می‌کند. علاوه بر این، از یک رویکرد مهندسی ویژگی (Feature Engineering) برای بهبود طبقه‌بندی داده‌های EEG مرتبط با تثبیت (Fixation-Related EEG) استفاده شده است. این امر به منظور تفکیک بهتر پردازش کلماتی با اهمیت بالا در مقابل کلماتی با اهمیت پایین نسبت به کلمه کلیدی انجام گرفته است.

نتایج این پژوهش نشان می‌دهد که دقت طبقه‌بندی در سطح کلمه، در بهترین حالت، به بیش از 60 درصد در بین 12 شرکت‌کننده رسیده است. همچنین، کلماتی که ارتباط بالایی با کلمه کلیدی استنباطی دارند، تعداد تثبیت‌های چشمی بیشتری را به خود اختصاص می‌دهند. به طور خاص، تعداد تثبیت‌های چشمی برای کلمات با اهمیت بالا، به طور معناداری بیشتر از کلمات با اهمیت پایین بوده است (1.0584 در مقابل 0.6576 در صورت حذف کلمات بدون تثبیت، و 1.5126 در مقابل 1.4026 در صورت در نظر گرفتن تمام کلمات).

این مطالعه، اولین تلاش برای طبقه‌بندی حالات مغزی در سطح کلمه با استفاده از دانش مدل‌های زبانی بزرگ است. یافته‌های این پژوهش، بینش‌های ارزشمندی را در مورد توانایی‌های شناختی انسان و همچنین حوزه هوش مصنوعی عمومی (AGI) ارائه می‌دهد و راهنمایی‌هایی را برای توسعه فناوری‌های کمک‌خوان فراهم می‌کند.

پژوهشگران در این مطالعه، از یک رویکرد چندوجهی برای جمع‌آوری و تحلیل داده‌ها استفاده کرده‌اند. این رویکرد شامل سه جزء اصلی است:

• تکلیف درک مطلب: شرکت‌کنندگان در این تحقیق، در یک تکلیف درک مطلب شرکت کردند که در آن باید به سوالاتی در مورد روابط معنایی بین کلمات مختلف پاسخ می‌دادند. این تکلیف به گونه‌ای طراحی شده بود که شرکت‌کنندگان را مجبور به استنباط معنا از متن کند. به عنوان مثال، ممکن است شرکت‌کنندگان متنی را بخوانند که در آن رابطه بین دو کلمه به طور صریح بیان نشده باشد و آن‌ها باید با استنباط، این رابطه را درک کنند.
• ثبت داده‌های نوار مغزی (EEG): در طول انجام تکلیف درک مطلب، فعالیت الکتریکی مغز شرکت‌کنندگان با استفاده از دستگاه نوار مغزی ثبت می‌شد. داده‌های EEG اطلاعات ارزشمندی در مورد فعالیت عصبی مغز در هنگام پردازش کلمات مختلف ارائه می‌دهند.
• ردیابی چشم: همزمان با ثبت داده‌های EEG، حرکات چشم شرکت‌کنندگان نیز با استفاده از دستگاه ردیاب چشم ثبت می‌شد. داده‌های ردیابی چشم، اطلاعات دقیقی در مورد اینکه شرکت‌کنندگان به کدام کلمات در متن نگاه می‌کنند و چه مدت به آن‌ها خیره می‌شوند، فراهم می‌کند.

علاوه بر این، پژوهشگران از مدل‌های زبانی بزرگ (LLM) برای ارزیابی ارتباط معنایی بین کلمات مختلف در متن استفاده کردند. این مدل‌ها، با استفاده از مقادیر زیادی داده‌های زبانی، قادر به تخمین میزان ارتباط معنایی بین دو کلمه هستند.

پس از جمع‌آوری داده‌ها، پژوهشگران از تکنیک‌های مختلف تحلیل داده برای بررسی رابطه بین داده‌های EEG، داده‌های ردیابی چشم و امتیازات ارتباط معنایی LLM استفاده کردند. به طور خاص، آن‌ها از یک رویکرد مهندسی ویژگی برای استخراج ویژگی‌های مرتبط از داده‌های EEG استفاده کردند و سپس از این ویژگی‌ها برای آموزش یک مدل طبقه‌بندی استفاده کردند که بتواند بین کلماتی با اهمیت بالا و کلماتی با اهمیت پایین تمایز قائل شود.

یافته‌های این پژوهش، بینش‌های ارزشمندی را در مورد نحوه پردازش زبان در مغز انسان ارائه می‌دهد. برخی از یافته‌های کلیدی این پژوهش عبارتند از:

• ارتباط بین تثبیت‌های چشمی و اهمیت کلمه: کلماتی که ارتباط بالایی با کلمه کلیدی استنباطی دارند، تعداد تثبیت‌های چشمی بیشتری را به خود اختصاص می‌دهند. این نشان می‌دهد که افراد زمان بیشتری را صرف پردازش کلماتی می‌کنند که برای درک معنای کلی متن مهم هستند.
• دقت طبقه‌بندی حالت عصبی در سطح کلمه: پژوهشگران توانستند با استفاده از داده‌های EEG و رویکرد مهندسی ویژگی، حالت عصبی افراد را در سطح کلمه با دقت نسبتاً بالایی طبقه‌بندی کنند (بیش از 60 درصد). این نشان می‌دهد که داده‌های EEG اطلاعات مفیدی در مورد فرآیندهای شناختی درگیر در پردازش زبان ارائه می‌دهند.
• پتانسیل استفاده از مدل‌های زبانی بزرگ برای درک پردازش زبان در مغز: این مطالعه، اولین تلاش برای استفاده از دانش مدل‌های زبانی بزرگ برای طبقه‌بندی حالات مغزی در سطح کلمه است. نتایج این مطالعه نشان می‌دهد که مدل‌های زبانی بزرگ می‌توانند ابزاری ارزشمند برای درک فرآیندهای شناختی درگیر در پردازش زبان باشند.

نتایج این پژوهش، کاربردهای متعددی در زمینه‌های مختلف از جمله آموزش، توانبخشی شناختی و توسعه هوش مصنوعی دارد. برخی از کاربردهای بالقوه این پژوهش عبارتند از:

• توسعه فناوری‌های کمک‌خوان: یافته‌های این پژوهش می‌تواند برای توسعه فناوری‌های کمک‌خوان مورد استفاده قرار گیرد که به افراد دارای مشکلات خواندن کمک می‌کند تا متن را بهتر درک کنند. به عنوان مثال، این فناوری‌ها می‌توانند به طور خودکار کلماتی را که برای درک معنای کلی متن مهم هستند، برجسته کنند یا سرعت ارائه متن را بر اساس فعالیت عصبی فرد تنظیم کنند.
• بهبود روش‌های آموزش خواندن: یافته‌های این پژوهش می‌تواند برای بهبود روش‌های آموزش خواندن مورد استفاده قرار گیرد. به عنوان مثال، معلمان می‌توانند از این یافته‌ها برای تمرکز بر آموزش مهارت‌های استنباط معنایی و تشویق دانش‌آموزان به صرف زمان بیشتر برای پردازش کلماتی که برای درک معنای کلی متن مهم هستند، استفاده کنند.
• توسعه مدل‌های هوش مصنوعی با درک بهتر از زبان: یافته‌های این پژوهش می‌تواند برای توسعه مدل‌های هوش مصنوعی با درک بهتر از زبان مورد استفاده قرار گیرد. با درک بهتر نحوه پردازش زبان در مغز انسان، می‌توان مدل‌های هوش مصنوعی را توسعه داد که قادر به درک زبان طبیعی با دقت و ظرافت بیشتری باشند.

به طور کلی، این پژوهش گامی مهم در جهت درک بهتر فرآیندهای شناختی درگیر در پردازش زبان است و پتانسیل ایجاد تحولات چشمگیر در زمینه‌های مختلف را دارد.

مقاله “ادغام مدل‌های زبانی بزرگ، نوار مغزی و ردیابی چشم برای طبقه‌بندی حالت عصبی در سطح کلمه در درک مطلب استنباط معنایی”، یک پژوهش نوآورانه و بین‌رشته‌ای است که با استفاده از رویکردی جامع، به بررسی فرآیندهای شناختی درگیر در درک مطلب می‌پردازد. یافته‌های این پژوهش، بینش‌های ارزشمندی را در مورد نحوه پردازش زبان در مغز انسان ارائه می‌دهد و کاربردهای متعددی در زمینه‌های مختلف از جمله آموزش، توانبخشی شناختی و توسعه هوش مصنوعی دارد. این تحقیق، نقطه عطفی در تحقیقات مرتبط با درک زبان توسط انسان و ماشین به شمار می‌رود و راه را برای تحقیقات آتی در این زمینه هموار می‌سازد.