پردازش زبان طبیعی (NLP) در سال‌های اخیر پیشرفت‌های چشمگیری داشته است. این پیشرفت‌ها عمدتاً مدیون استفاده از مدل‌های زبانی از پیش آموزش‌دیده (Pre-trained Language Models) بر روی حجم عظیمی از داده‌های بدون ساختار هستند. با این حال، تلاش‌های فزاینده‌ای در جهت ترکیب ماهیت بدون ساختار این مدل‌ها با دانش ساختاریافته و استدلال منطقی صورت می‌گیرد. به ویژه در حوزه به سرعت در حال تحول پردازش زبان طبیعی زیست‌پزشکی (Biomedical NLP)، مدل‌های زبانی ارتقا یافته با دانش (Knowledge-Enhanced Language Models یا KELMs) به عنوان ابزارهایی امیدوارکننده برای پر کردن شکاف بین مدل‌های زبانی بزرگ و دانش خاص حوزه، با در نظر گرفتن گراف‌های دانش زیست‌پزشکی (Biomedical Knowledge Graphs یا KGs) که توسط متخصصان در طول دهه‌ها جمع‌آوری شده‌اند، ظاهر شده‌اند.

این مقاله به بررسی روشی نوین برای تزریق دانش ساختاریافته زیست‌پزشکی به مدل‌های زبانی از پیش آموزش‌دیده از طریق ماژول‌های آداپتور سبک‌وزن می‌پردازد. این روش، ضمن حفظ کارایی محاسباتی، امکان بهبود عملکرد مدل‌ها در وظایف مختلف را فراهم می‌کند.

این مقاله توسط یورای ولادیکا (Juraj Vladika)، الکساندر فیختل (Alexander Fichtl) و فلوریان ماتئس (Florian Matthes) نوشته شده است. زمینه تخصصی این نویسندگان در حوزه‌های پردازش زبان طبیعی، یادگیری ماشین و بیوانفورماتیک است. تمرکز اصلی تحقیق آن‌ها بر توسعه روش‌هایی برای ادغام دانش ساختاریافته در مدل‌های زبانی بزرگ و ارتقای عملکرد آن‌ها در وظایف خاص حوزه زیست‌پزشکی است.

چکیده مقاله به این نکته اشاره دارد که مدل‌های زبانی از پیش آموزش‌دیده، پایه و اساس بسیاری از پیشرفت‌های اخیر در پردازش زبان طبیعی هستند. با این حال، ضرورت ترکیب این مدل‌ها با دانش ساختاریافته به منظور بهبود استدلال و درک آن‌ها از مفاهیم تخصصی، به ویژه در حوزه زیست‌پزشکی، به شدت احساس می‌شود. مقاله حاضر، رویکردی جدید را برای این منظور ارائه می‌دهد که از ماژول‌های آداپتور سبک‌وزن برای تزریق دانش زیست‌پزشکی ساختاریافته به مدل‌های زبانی از پیش آموزش‌دیده استفاده می‌کند.

این روش شامل تقسیم‌بندی گراف‌های دانش به زیرگراف‌های کوچکتر، تنظیم دقیق (Fine-tuning) ماژول‌های آداپتور برای هر زیرگراف و ترکیب دانش در یک لایه فیوژن (Fusion Layer) است. این پژوهش، عملکرد روش پیشنهادی را در سه وظیفه مختلف ارزیابی می‌کند: دسته‌بندی اسناد (Document Classification)، پاسخ به سؤالات (Question Answering) و استنتاج زبان طبیعی (Natural Language Inference). نتایج نشان می‌دهد که این روش منجر به بهبود عملکرد در بسیاری از موارد می‌شود، در حالی که نیاز به توان محاسباتی را پایین نگه می‌دارد.

روش‌شناسی تحقیق در این مقاله شامل مراحل زیر است:

• انتخاب مدل‌های زبانی از پیش آموزش‌دیده: دو مدل زبانی برجسته زیست‌پزشکی، PubMedBERT و BioLinkBERT، به عنوان مدل‌های پایه انتخاب شده‌اند. این مدل‌ها به طور خاص بر روی حجم عظیمی از متون علمی زیست‌پزشکی آموزش داده شده‌اند و درک خوبی از مفاهیم این حوزه دارند.
• انتخاب گراف‌های دانش زیست‌پزشکی: دو گراف دانش بزرگ، UMLS (Unified Medical Language System) و OntoChem، به عنوان منابع دانش ساختاریافته انتخاب شده‌اند. UMLS یک سیستم دانش جامع است که مفاهیم پزشکی و ارتباطات بین آن‌ها را دربرمی‌گیرد. OntoChem نیز یک هستی‌شناسی بیوشیمیایی است که اطلاعات مربوط به ترکیبات شیمیایی، واکنش‌ها و مسیرهای متابولیکی را ارائه می‌دهد.
• تقسیم‌بندی گراف‌های دانش: برای کاهش پیچیدگی محاسباتی و بهبود عملکرد، گراف‌های دانش بزرگ به زیرگراف‌های کوچکتر تقسیم می‌شوند. این زیرگراف‌ها بر اساس مفاهیم و ارتباطات مرتبط با یکدیگر ایجاد می‌شوند.
• آموزش ماژول‌های آداپتور: برای هر زیرگراف، یک ماژول آداپتور جداگانه آموزش داده می‌شود. این ماژول‌ها به مدل زبانی پایه متصل می‌شوند و به آن امکان می‌دهند تا دانش موجود در زیرگراف مربوطه را فرا بگیرد.
• لایه فیوژن: یک لایه فیوژن برای ترکیب دانش حاصل از ماژول‌های آداپتور مختلف ایجاد می‌شود. این لایه به مدل امکان می‌دهد تا از دانش‌های گوناگون به طور همزمان استفاده کند و درک بهتری از مفاهیم پیچیده داشته باشد.
• ارزیابی عملکرد: عملکرد مدل در سه وظیفه پایین‌دستی ارزیابی می‌شود: دسته‌بندی اسناد، پاسخ به سؤالات و استنتاج زبان طبیعی. برای هر وظیفه، از مجموعه داده‌های استاندارد استفاده می‌شود و نتایج با روش‌های baseline مقایسه می‌شوند.

به عنوان مثال، در وظیفه پاسخ به سوالات، مدل باید بتواند با استفاده از دانش موجود در گراف‌های دانش، به سوالات مربوط به موضوعات زیست‌پزشکی پاسخ دهد. یک نمونه سوال می‌تواند این باشد: “عوارض جانبی داروی X چیست؟” مدل با جستجو در UMLS یا OntoChem، اطلاعات مربوط به عوارض جانبی دارو را استخراج کرده و به عنوان پاسخ ارائه می‌دهد.

نتایج این تحقیق نشان می‌دهد که روش پیشنهادی منجر به بهبود عملکرد مدل‌های زبانی در بسیاری از وظایف پایین‌دستی می‌شود. یافته‌های کلیدی عبارتند از:

• بهبود عملکرد در دسته‌بندی اسناد: مدل‌های آموزش‌دیده با ماژول‌های آداپتور، دقت بالاتری در دسته‌بندی اسناد علمی زیست‌پزشکی نشان دادند. این امر نشان می‌دهد که دانش تزریق‌شده از طریق گراف‌های دانش، به مدل کمک می‌کند تا محتوای اسناد را بهتر درک کند.
• بهبود عملکرد در پاسخ به سؤالات: مدل‌ها قادر به پاسخگویی دقیق‌تر و کامل‌تر به سوالات مربوط به موضوعات زیست‌پزشکی بودند. این نشان‌دهنده این است که مدل‌ها می‌توانند از دانش موجود در گراف‌های دانش برای استدلال و یافتن پاسخ‌های مرتبط استفاده کنند.
• بهبود عملکرد در استنتاج زبان طبیعی: مدل‌ها توانستند روابط منطقی بین جملات را بهتر درک کنند. این امر نشان می‌دهد که دانش تزریق‌شده، درک معنایی مدل را بهبود بخشیده است.
• کاهش نیاز به توان محاسباتی: استفاده از ماژول‌های آداپتور سبک‌وزن، امکان آموزش مدل‌ها را با نیاز به توان محاسباتی کمتر فراهم می‌کند. این امر، استفاده از این روش را برای محققانی که به منابع محاسباتی محدود دسترسی دارند، تسهیل می‌کند.

به طور خلاصه، این تحقیق نشان می‌دهد که تزریق دانش ساختاریافته از طریق ماژول‌های آداپتور، یک روش موثر برای ارتقای عملکرد مدل‌های زبانی زیست‌پزشکی در وظایف مختلف است. این روش، ضمن بهبود دقت و کامل بودن پاسخ‌ها، نیاز به توان محاسباتی را نیز کاهش می‌دهد.

نتایج این تحقیق می‌تواند در زمینه‌های مختلف کاربرد داشته باشد، از جمله:

• توسعه ابزارهای جستجوی هوشمندتر در حوزه زیست‌پزشکی: با استفاده از مدل‌های زبانی ارتقا یافته با دانش، می‌توان ابزارهای جستجویی ایجاد کرد که قادر به درک دقیق‌تر پرسش‌های کاربران و ارائه نتایج مرتبط‌تر باشند.
• کمک به پزشکان و محققان در تصمیم‌گیری‌های بالینی و تحقیقاتی: مدل‌های زبانی ارتقا یافته با دانش می‌توانند به پزشکان و محققان در یافتن اطلاعات مرتبط با بیماران و موضوعات تحقیقاتی خود کمک کنند و تصمیم‌گیری‌های بهتری اتخاذ کنند.
• تسریع فرآیند کشف دارو: با استفاده از مدل‌های زبانی ارتقا یافته با دانش، می‌توان فرآیند کشف دارو را تسریع کرد و داروهای جدید را با سرعت بیشتری تولید کرد.
• بهبود درک ماشین از متون علمی زیست‌پزشکی: مدل‌های زبانی ارتقا یافته با دانش می‌توانند به درک بهتر متون علمی زیست‌پزشکی توسط ماشین کمک کنند و امکان استخراج دانش و ایجاد خلاصه‌های خودکار از این متون را فراهم کنند.

دستاورد اصلی این تحقیق، ارائه یک روش نوین و کارآمد برای تزریق دانش ساختاریافته به مدل‌های زبانی زیست‌پزشکی است. این روش، ضمن بهبود عملکرد مدل‌ها در وظایف مختلف، نیاز به توان محاسباتی را نیز کاهش می‌دهد و امکان استفاده از آن را برای محققان بیشتری فراهم می‌کند.

در این مقاله، یک روش جدید برای متنوع‌سازی ارتقای دانش مدل‌های زبانی زیست‌پزشکی با استفاده از ماژول‌های آداپتور و گراف‌های دانش ارائه شد. این روش، امکان تزریق دانش ساختاریافته به مدل‌های زبانی از پیش آموزش‌دیده را فراهم می‌کند و منجر به بهبود عملکرد آن‌ها در وظایف مختلف می‌شود. نتایج این تحقیق نشان می‌دهد که استفاده از ماژول‌های آداپتور و گراف‌های دانش، یک رویکرد موثر برای ارتقای مدل‌های زبانی زیست‌پزشکی است و می‌تواند در زمینه‌های مختلف کاربرد داشته باشد. تحقیقات آتی می‌توانند بر روی بهبود معماری ماژول‌های آداپتور، استفاده از گراف‌های دانش بزرگتر و جامع‌تر و ارزیابی عملکرد مدل در وظایف پیچیده‌تر تمرکز کنند. همچنین، بررسی امکان استفاده از این روش در سایر حوزه‌های تخصصی نیز می‌تواند موضوع تحقیقات آینده باشد.