ترجمه فارسی مقاله به سوی یادگیری بازنمایی عصبی زبانی و بازیابی جمله از ضبط‌های الکتروانسفالوگرام

چکیده

Decoding linguistic information from non-invasive brain signals using EEG has gained increasing research attention due to its vast applicational potential. Recently, a number of works have adopted a generative-based framework to decode electroencephalogram (EEG) signals into sentences by utilizing the power generative capacity of pretrained large language models (LLMs). However, this approach has several drawbacks that hinder the further development of linguistic applications for brain-computer interfaces (BCIs). Specifically, the ability of the EEG encoder to learn semantic information from EEG data remains questionable, and the LLM decoder’s tendency to generate sentences based on its training memory can be hard to avoid. These issues necessitate a novel approach for converting EEG signals into sentences. In this paper, we propose a novel two-step pipeline that addresses these limitations and enhances the validity of linguistic EEG decoding research. We first confirm that word-level semantic information can be learned from EEG data recorded during natural reading by training a Conformer encoder via a masked contrastive objective for word-level classification. To achieve sentence decoding results, we employ a training-free retrieval method to retrieve sentences based on the predictions from the EEG encoder. Extensive experiments and ablation studies were conducted in this paper for a comprehensive evaluation of the proposed approach. Visualization of the top prediction candidates reveals that our model effectively groups EEG segments into semantic categories with similar meanings, thereby validating its ability to learn patterns from unspoken EEG recordings. Despite the exploratory nature of this work, these results suggest that our method holds promise for providing more reliable solutions for converting EEG signals into text.

چکیده به فارسی (ترجمه ماشینی)

رمزگشایی اطلاعات زبانی از سیگنال های غیر تهاجمی مغز با استفاده از EEG به دلیل پتانسیل کاربردی گسترده ، توجه تحقیقاتی را به خود جلب کرده است.به تازگی ، تعدادی از آثار یک چارچوب مبتنی بر تولید را برای رمزگشایی سیگنال های الکتروانسفالوگرام (EEG) در جملات با استفاده از ظرفیت تولیدی قدرت مدلهای بزرگ زبان بزرگ (LLM) اتخاذ کرده اند.با این حال ، این رویکرد دارای چندین اشکال است که مانع از توسعه بیشتر کاربردهای زبانی برای رابط های مغز و رایانه (BCIs) می شود.به طور خاص ، توانایی رمزگذار EEG در یادگیری اطلاعات معنایی از داده های EEG همچنان جای سوال دارد و تمایل رمزگذار LLM برای تولید جملات بر اساس حافظه آموزشی آن می تواند سخت باشد.این موضوعات نیاز به یک رویکرد جدید برای تبدیل سیگنال های EEG به جملات دارد.در این مقاله ، ما یک خط لوله دو مرحله ای جدید را پیشنهاد می کنیم که به این محدودیت ها می پردازد و اعتبار تحقیقات رمزگشایی EEG زبانی را افزایش می دهد.ما ابتدا تأیید می کنیم که اطلاعات معنایی در سطح کلمه را می توان از داده های EEG ضبط شده در هنگام خواندن طبیعی با آموزش یک رمزگذار سازگار از طریق یک هدف متضاد نقاب دار برای طبقه بندی سطح کلمه آموخت.برای دستیابی به نتایج رمزگشایی جمله ، ما از یک روش بازیابی بدون آموزش برای بازیابی جملات بر اساس پیش بینی های رمزگذار EEG استفاده می کنیم.آزمایش های گسترده و مطالعات فرسایش در این مقاله برای ارزیابی جامع از رویکرد پیشنهادی انجام شد.تجسم نامزدهای پیش بینی برتر نشان می دهد که مدل ما به طور مؤثر بخش های EEG را به دسته های معنایی با معانی مشابه گروه بندی می کند ، در نتیجه توانایی آن در یادگیری الگوهای از ضبط های ناگفته EEG را تأیید می کند.با وجود ماهیت اکتشافی این کار ، این نتایج نشان می دهد که روش ما نوید ارائه راه حل های مطمئن تر برای تبدیل سیگنال های EEG به متن را دارد.