معرفی مقاله و اهمیت آن

در سال‌های اخیر، پردازش زبان طبیعی بالینی (Clinical NLP) به عنوان یک فناوری نوظهور و حیاتی در حوزه مراقبت‌های بهداشتی مطرح شده است. این فناوری با بهره‌گیری از حجم عظیمی از داده‌های متنی آزاد موجود در پرونده‌های الکترونیکی سلامت (EHRs)، قادر است به بهبود مراقبت از بیماران، پشتیبانی از تصمیم‌گیری‌های بالینی و تسهیل تحقیقات علمی و ترجمانی کمک شایانی نماید. پیشرفت‌های اخیر در یادگیری عمیق (Deep Learning)، عملکردی بی‌نظیر را در بسیاری از وظایف NLP بالینی به ارمغان آورده است.

با این حال، یک چالش اساسی در به‌کارگیری مدل‌های یادگیری عمیق، نیاز مبرم آن‌ها به مجموعه‌داده‌های بزرگ و برچسب‌گذاری‌شده است. این مجموعه‌داده‌ها اغلب به صورت عمومی در دسترس نیستند و فرایند ساخت آن‌ها در حوزه‌های بالینی به دلیل پیچیدگی، حساسیت و نیاز به تخصص بالینی، زمان‌بر و پرهزینه است. در محیط‌های واقعی بالینی، معمولاً با مجموعه‌داده‌های کوچک‌تر و برچسب‌گذاری‌شده سروکار داریم. بنابراین، تضمین عملکرد مطلوب مدل‌های یادگیری عمیق در این شرایط، برای کاربرد آن‌ها در سناریوهای عملی ضروری است.

این مقاله با عنوان “یادگیری چند نمونه برای پردازش زبان طبیعی بالینی با استفاده از شبکه‌های عصبی سیامی“، به بررسی راه حلی نوین برای این چالش می‌پردازد. محققان در این پژوهش، شبکه‌های عصبی سیامی (Siamese Neural Networks – SNN) را به عنوان یک رویکرد یادگیری چند نمونه‌ای (Few-Shot Learning – FSL) برای حل مشکل کمبود داده در NLP بالینی معرفی می‌کنند. اهمیت این تحقیق در توانایی آن برای کاهش وابستگی به داده‌های حجیم، تسریع در توسعه مدل‌های NLP در حوزه‌های تخصصی پزشکی و در نهایت، هموار کردن مسیر برای استقرار گسترده‌تر این فناوری‌ها در محیط‌های بالینی واقعی است.

نویسندگان و زمینه تحقیق

این پژوهش توسط دیوید اونیانی (David Oniani)، سونیش سیواراجکومار (Sonish Sivarajkumar) و یانشان وانگ (Yanshan Wang) انجام شده است. این محققان در خط مقدم تلاش‌ها برای پیشبرد فناوری‌های هوش مصنوعی در زمینه بهداشت و درمان قرار دارند و تخصص آن‌ها در محاسبات و زبان (Computation and Language)، زمینه‌ساز این نوآوری‌ها است.

زمینه‌ی تحقیق این مقاله در تقاطع یادگیری ماشین پیشرفته، پردازش زبان طبیعی و انفورماتیک بالینی قرار دارد. پردازش زبان طبیعی بالینی به دلیل ویژگی‌های خاص خود، از جمله وجود اصطلاحات پزشکی پیچیده، اختصارات، ساختار جملات غیررسمی در یادداشت‌های پزشکان و نگرانی‌های شدید حریم خصوصی، به عنوان یک زیرشاخه چالش‌برانگیز در NLP شناخته می‌شود. با وجود پیشرفت‌های چشمگیر مدل‌های مدل‌های زبانی از پیش آموزش‌دیده (Pre-trained Language Models – PLMs) مانند BERT و مشتقات آن، که توانایی‌های فوق‌العاده‌ای در فهم زبان از خود نشان داده‌اند، این مدل‌ها همچنان در مواجهه با وظایف بالینی با داده‌های برچسب‌گذاری شده اندک، دچار ضعف می‌شوند. اینجاست که نیاز به رویکردهای نوین مانند یادگیری چند نمونه‌ای و شبکه‌های سیامی پررنگ می‌شود تا بتوان از پتانسیل کامل یادگیری عمیق در محیط‌های بالینی استفاده کرد.

چکیده و خلاصه محتوا

چالش اصلی در استفاده از یادگیری عمیق برای NLP بالینی، نیاز به مجموعه‌داده‌های برچسب‌گذاری شده بزرگ است که معمولاً در دسترس نیستند. این وضعیت منجر به محدودیت‌هایی در به‌کارگیری مدل‌ها در کاربردهای واقعی می‌شود. اگرچه رویکرد متداول تنظیم دقیق (fine-tuning) مدل‌های زبانی از پیش آموزش‌دیده (PLMs) وجود دارد، اما این روش‌ها زمانی که مجموعه‌داده آموزشی فقط شامل چند نمونه برچسب‌گذاری‌شده باشد، کارایی لازم را ندارند.

برای غلبه بر این مشکل، یادگیری چند نمونه‌ای (FSL) اخیراً مورد بررسی قرار گرفته است. در همین راستا، شبکه عصبی سیامی (SNN) به طور گسترده‌ای به عنوان یک رویکرد FSL در بینایی کامپیوتر (Computer Vision) مورد استفاده قرار گرفته است، اما کاربرد آن در NLP و به خصوص در حوزه بالینی به خوبی مطالعه نشده و ادبیات آن در این زمینه‌ها کمیاب است.

این مقاله دو رویکرد FSL مبتنی بر SNN را برای NLP بالینی پیشنهاد می‌کند:

• SNN از پیش آموزش‌دیده (Pre-Trained SNN – PT-SNN)
• SNN با تعبیه‌های مرتبه دوم (SNN with Second-Order Embeddings – SOE-SNN)

محققان این رویکردهای پیشنهادی را در دو وظیفه بالینی، یعنی دسته‌بندی متن بالینی و شناسایی موجودیت‌های نام‌گذاری شده بالینی (Named Entity Recognition – NER)، ارزیابی کرده‌اند. آن‌ها سه تنظیمات چند نمونه‌ای شامل یادگیری 4 نمونه‌ای، 8 نمونه‌ای و 16 نمونه‌ای را مورد آزمایش قرار دادند. هر دو وظیفه NLP بالینی با استفاده از سه PLM شامل BERT، BioBERT و BioClinicalBERT مورد ارزیابی قرار گرفتند. نتایج تجربی، اثربخشی رویکردهای FSL مبتنی بر SNN را در هر دو وظیفه NLP تأیید کرده است.

روش‌شناسی تحقیق

این پژوهش با هدف حل مشکل کمبود داده برچسب‌گذاری شده در NLP بالینی، بر توسعه و ارزیابی رویکردهای نوین مبتنی بر شبکه‌های عصبی سیامی (SNN) تمرکز دارد. هسته مرکزی روش‌شناسی، بهره‌گیری از قابلیت SNN در یادگیری شباهت (similarity learning) است که آن را برای وظایف FSL بسیار مناسب می‌سازد.

شبکه‌های عصبی سیامی (SNNs)

شبکه‌های عصبی سیامی از دو یا چند شبکه عصبی یکسان (دارای وزن‌های مشترک) تشکیل شده‌اند که ورودی‌های مختلف را پردازش می‌کنند و خروجی‌هایی را تولید می‌کنند که می‌توان از آن‌ها برای محاسبه شباهت یا فاصله بین ورودی‌ها استفاده کرد. در این پژوهش، SNNها برای مقایسه جفت‌های متنی و تعیین میزان شباهت معنایی آن‌ها آموزش داده می‌شوند. این رویکرد به مدل اجازه می‌دهد تا با دیدن تنها چند نمونه، مفهوم یک کلاس را درک کرده و نمونه‌های جدید را بر اساس شباهت به آن نمونه‌های محدود، دسته‌بندی یا برچسب‌گذاری کند.

رویکردهای پیشنهادی FSL مبتنی بر SNN

دو مدل اصلی در این مقاله مطرح شده‌اند:

1. Pre-Trained SNN (PT-SNN): این رویکرد از مدل‌های زبانی از پیش آموزش‌دیده (PLMs) به عنوان بلوک‌های سازنده برای ایجاد SNN استفاده می‌کند. بدین صورت که PLMها ابتدا بر روی حجم وسیعی از داده‌های متنی عمومی یا تخصصی (مانند متون پزشکی) آموزش داده می‌شوند تا بازنمایی‌های معنایی قدرتمندی از کلمات و جملات استخراج کنند. سپس، این PLMهای از پیش آموزش‌دیده در معماری SNN ادغام می‌شوند و با استفاده از مجموعه‌داده‌های کوچک و برچسب‌گذاری‌شده بالینی، برای یادگیری مقایسه شباهت‌ها تنظیم دقیق می‌شوند. این روش از دانش گسترده‌ای که PLMها از پیش کسب کرده‌اند، برای بهبود عملکرد در وظایف FSL بهره می‌برد.

2. SNN with Second-Order Embeddings (SOE-SNN): این رویکرد، گامی فراتر از PT-SNN می‌گذارد و با هدف غنی‌سازی بازنمایی‌های متنی، از تعبیه‌های مرتبه دوم (Second-Order Embeddings) استفاده می‌کند. در حالی که تعبیه‌های استاندارد (مرتبه اول) به طور مستقیم معنای کلمات یا جملات را نشان می‌دهند، تعبیه‌های مرتبه دوم به دنبال ثبت روابط و تعاملات پیچیده‌تر بین این تعبیه‌ها هستند. به عنوان مثال، به جای تمرکز تنها بر معنای یک کلمه، SOE می‌تواند چگونگی ارتباط آن کلمه با سایر کلمات در یک بافتار خاص یا حتی چگونگی ارتباط با مفاهیم بالینی مرتبط را مدل کند. این قابلیت به مدل اجازه می‌دهد تا شباهت‌های ظریف‌تر و پیچیده‌تری را بین متون بالینی تشخیص دهد، که می‌تواند برای وظایفی مانند NER که نیاز به درک دقیق بافتار دارند، بسیار مفید باشد. این مدل با استخراج ویژگی‌های غنی‌تر، توانایی SNN را در شناسایی الگوهای معنایی با داده‌های محدود افزایش می‌دهد.

تنظیمات تجربی

پژوهشگران برای ارزیابی عملکرد مدل‌های خود، آزمایش‌هایی را در سه تنظیمات چند نمونه‌ای (few-shot settings) انجام دادند:

• 4-shot learning: استفاده از 4 نمونه برچسب‌گذاری شده برای هر کلاس.
• 8-shot learning: استفاده از 8 نمونه برچسب‌گذاری شده برای هر کلاس.
• 16-shot learning: استفاده از 16 نمونه برچسب‌گذاری شده برای هر کلاس.

این تنظیمات به خوبی سناریوهای کمبود داده در محیط‌های بالینی را شبیه‌سازی می‌کنند. مدل‌ها بر روی دو وظیفه اصلی NLP بالینی ارزیابی شدند:

• دسته‌بندی متن بالینی (Clinical Text Classification): به عنوان مثال، دسته‌بندی یادداشت‌های پزشکان بر اساس نوع بیماری، وضعیت درمان، یا فوریت بالینی.
• شناسایی موجودیت‌های نام‌گذاری شده بالینی (Clinical Named Entity Recognition – NER): شناسایی و استخراج موجودیت‌های کلیدی مانند نام داروها، علائم، بیماری‌ها، نتایج آزمایش‌ها و روندهای درمانی از متون بالینی.

برای مقایسه و بنچمارکینگ، عملکرد مدل‌های SNN با سه مدل زبانی از پیش آموزش‌دیده (PLMs) معروف مقایسه شد:

• BERT (Bidirectional Encoder Representations from Transformers): یک مدل عمومی قدرتمند که بر روی داده‌های متنی بسیار بزرگ آموزش دیده است.
• BioBERT: نسخه‌ای از BERT که بر روی متون زیست‌پزشکی (مانند مقالات PubMed) تنظیم دقیق شده است، که آن را برای حوزه زیست‌پزشکی مناسب‌تر می‌سازد.
• BioClinicalBERT: نسخه‌ای از BERT که نه تنها بر روی متون زیست‌پزشکی بلکه بر روی متون بالینی واقعی (clinical notes) نیز تنظیم دقیق شده است، که انتظار می‌رود بهترین عملکرد را در وظایف بالینی داشته باشد.

ارزیابی‌ها با استفاده از معیارهای استاندارد NLP (مانند دقت، بازخوانی و نمره F1) انجام شد تا اثربخشی مدل‌های پیشنهادی در شرایط کمبود داده به طور جامع سنجیده شود.

یافته‌های کلیدی

نتایج تجربی این پژوهش، اثربخشی قابل توجه رویکردهای FSL مبتنی بر SNN را در هر دو وظیفه NLP بالینی مورد بررسی، یعنی دسته‌بندی متن و شناسایی موجودیت‌های نام‌گذاری شده، به وضوح نشان داد. این یافته‌ها حاکی از پتانسیل بالای SNNها در مواجهه با چالش کمبود داده در محیط‌های بالینی هستند.

مهمترین یافته‌ها عبارتند از:

• عملکرد برتر SNN در تنظیمات Few-Shot: مدل‌های PT-SNN و SOE-SNN در مقایسه با روش‌های سنتی تنظیم دقیق PLMها، زمانی که تعداد نمونه‌های آموزشی بسیار محدود بود (4-shot, 8-shot, 16-shot)، عملکرد بهتری از خود نشان دادند. این امر تأکید می‌کند که SNNها می‌توانند از تعداد کمی از نمونه‌های برچسب‌گذاری شده به طور مؤثرتری استفاده کنند تا شباهت‌ها را بیاموزند و مدل‌های قوی‌تری بسازند.
• اثربخشی Second-Order Embeddings: رویکرد SOE-SNN که از تعبیه‌های مرتبه دوم برای غنی‌سازی بازنمایی‌های متنی استفاده می‌کند، در برخی سناریوها عملکرد حتی بهتری نسبت به PT-SNN از خود نشان داد. این موضوع نشان می‌دهد که ثبت روابط پیچیده‌تر بین مفاهیم، می‌تواند به درک عمیق‌تر معنایی و بهبود عملکرد مدل در مواجهه با داده‌های کم کمک کند، به ویژه در وظایفی که نیاز به درک دقیق بافتار دارند.
• عملکرد قوی در هر دو وظیفه بالینی: مدل‌های پیشنهادی نه تنها در دسته‌بندی متن بالینی (مثلاً تشخیص نوع بیماری از یادداشت‌های پزشک) بلکه در شناسایی موجودیت‌های نام‌گذاری شده بالینی (NER) (مثلاً استخراج نام داروها یا علائم از پرونده‌های پزشکی) نیز نتایج امیدوارکننده‌ای به دست آوردند. این تطبیق‌پذیری، کاربردپذیری این رویکردها را در گستره وسیعی از نیازهای NLP بالینی افزایش می‌دهد.
• مستقل از PLM پایه: اثربخشی رویکردهای SNN در ترکیب با هر سه PLM مورد آزمایش (BERT, BioBERT, BioClinicalBERT) مشاهده شد. این بدان معناست که SNN می‌تواند به عنوان یک چارچوب عمومی برای افزایش قابلیت‌های FSL در کنار هر مدل زبانی از پیش آموزش‌دیده مورد استفاده قرار گیرد، که انعطاف‌پذیری و قابلیت تعمیم بالایی را فراهم می‌کند.
• کاهش نیاز به داده‌های برچسب‌گذاری شده: مهم‌ترین دستاورد این پژوهش، ارائه راه حلی مؤثر برای چالش کمبود داده‌های برچسب‌گذاری شده در حوزه‌های بالینی است. این امر به توسعه سریع‌تر و کم‌هزینه‌تر سیستم‌های NLP در پزشکی کمک می‌کند و مانع اصلی ورود به این حوزه را کاهش می‌دهد.

به طور خلاصه، این یافته‌ها مهر تأییدی بر این موضوع می‌زنند که شبکه‌های عصبی سیامی یک ابزار قدرتمند و کارآمد برای پیاده‌سازی یادگیری چند نمونه‌ای در پردازش زبان طبیعی بالینی هستند و می‌توانند شکاف موجود بین نیازهای داده‌ای مدل‌های یادگیری عمیق و واقعیت مجموعه‌داده‌های محدود در این حوزه را پر کنند.

کاربردها و دستاوردها

دستاوردها و کاربردهای این پژوهش فراتر از بهبود عملکرد مدل‌های یادگیری ماشین در شرایط خاص است و می‌تواند تأثیرات عمیقی بر حوزه سلامت و پزشکی داشته باشد. توانایی توسعه مدل‌های NLP با تعداد کمی از نمونه‌های برچسب‌گذاری شده، درهای جدیدی را برای حل بسیاری از مشکلات واقعی بالینی باز می‌کند:

• بهبود مراقبت از بیمار: با توسعه مدل‌های NLP که قادر به استخراج اطلاعات حیاتی از یادداشت‌های بالینی با داده‌های آموزشی محدود هستند، می‌توان به تشخیص سریع‌تر بیماری‌ها، پیش‌بینی خطرات احتمالی و ارائه برنامه‌های درمانی شخصی‌سازی‌شده کمک کرد. به عنوان مثال، یک مدل FSL می‌تواند برای شناسایی علائم نادر یک بیماری خاص که فقط چند مورد از آن در EHRs وجود دارد، آموزش داده شود.

• پشتیبانی از تصمیم‌گیری بالینی: پزشکان می‌توانند از سیستم‌های NLP مبتنی بر SNN برای دسترسی سریع به اطلاعات مرتبط از سوابق پزشکی بیماران، راهنماهای بالینی و ادبیات پزشکی، حتی در مورد شرایط نادر، بهره‌مند شوند. این امر می‌تواند به کاهش خطاهای پزشکی و بهبود کیفیت تصمیم‌گیری‌ها منجر شود.

• تسهیل تحقیقات بالینی و ترجمانی: محققان غالباً برای استخراج داده‌های خاص از حجم عظیمی از متون بالینی با چالش روبه‌رو هستند. رویکردهای FSL می‌توانند این فرایند را به طور چشمگیری سرعت بخشند و امکان انجام مطالعاتی را فراهم کنند که پیش از این به دلیل کمبود داده‌های برچسب‌گذاری شده، غیرعملی بودند. این شامل شناسایی بیماران واجد شرایط برای کارآزمایی‌های بالینی، ردیابی روند بیماری در جمعیت‌های خاص و کشف الگوهای جدید در داده‌های بالینی است.

• کاهش بار برچسب‌گذاری دستی: برچسب‌گذاری داده‌های بالینی توسط متخصصین پزشکی یک فرایند زمان‌بر، گران و نیازمند تخصص بالا است. با کاهش نیاز به مجموعه‌داده‌های بزرگ برچسب‌گذاری شده، این رویکردها می‌توانند منابع انسانی و مالی قابل توجهی را صرفه‌جویی کنند و سرعت توسعه سیستم‌های هوش مصنوعی را در پزشکی افزایش دهند.

• مقیاس‌پذیری و انعطاف‌پذیری: این مدل‌ها امکان توسعه سیستم‌های NLP را برای بیماری‌ها یا شرایطی که داده‌های آن‌ها به طور طبیعی کمیاب هستند (مانند بیماری‌های نادر)، فراهم می‌کنند. این انعطاف‌پذیری اجازه می‌دهد تا فناوری NLP به حوزه‌هایی گسترش یابد که پیش از این به دلیل محدودیت داده قابل دسترسی نبودند.

• نظارت بر دارو و ایمنی بیمار: استخراج اطلاعات در مورد عوارض جانبی داروها، تداخلات دارویی و هشدارهای ایمنی از یادداشت‌های بالینی، می‌تواند به سیستم‌های نظارت بر دارو (pharmacovigilance) کمک کند تا واکنش‌های نامطلوب دارویی را زودتر شناسایی و مدیریت کنند.

• مدیریت سلامت عمومی: شناسایی و پایش سریع شیوع بیماری‌ها، الگوهای اپیدمیولوژیک و مناطق پرخطر از طریق تحلیل داده‌های متنی EHRs، می‌تواند به مسئولین بهداشت عمومی در اتخاذ تصمیمات آگاهانه و به‌موقع یاری رساند.

در مجموع، رویکردهای FSL مبتنی بر SNN، گام مهمی در جهت عملیاتی کردن پتانسیل کامل NLP در حوزه سلامت و پزشکی محسوب می‌شوند، و این کار را با غلبه بر یکی از بزرگترین موانع موجود، یعنی کمبود داده‌های برچسب‌گذاری شده، انجام می‌دهند.

نتیجه‌گیری

این مقاله به بررسی و ارائه راه‌حل‌های نوینی برای یکی از حیاتی‌ترین چالش‌ها در حوزه پردازش زبان طبیعی بالینی (Clinical NLP) پرداخت: کمبود داده‌های برچسب‌گذاری شده. با وجود قدرت بی‌بدیل مدل‌های یادگیری عمیق، نیاز آن‌ها به حجم عظیمی از داده‌های آموزشی برچسب‌گذاری‌شده، مانعی جدی برای پیاده‌سازی آن‌ها در محیط‌های بالینی محسوب می‌شود، جایی که داده‌های اختصاصی غالباً کمیاب و گران‌بها هستند.

پژوهشگران با معرفی دو رویکرد یادگیری چند نمونه‌ای (Few-Shot Learning – FSL) مبتنی بر شبکه‌های عصبی سیامی (Siamese Neural Networks – SNN)، یعنی PT-SNN و SOE-SNN، نشان دادند که چگونه می‌توان از پتانسیل یادگیری عمیق حتی با تعداد بسیار محدودی از نمونه‌های آموزشی بهره‌برداری کرد. نتایج تجربی این مطالعه بر روی وظایف دسته‌بندی متن بالینی و شناسایی موجودیت‌های نام‌گذاری شده بالینی (NER)، به وضوح اثربخشی و عملکرد برتر این رویکردهای SNN را در مقایسه با روش‌های تنظیم دقیق متداول مدل‌های زبانی از پیش آموزش‌دیده (PLMs) در تنظیمات 4-shot، 8-shot و 16-shot تأیید کرد.

یافته‌ها به خصوص اهمیت تعبیه‌های مرتبه دوم (Second-Order Embeddings) را در مدل SOE-SNN برای ضبط روابط معنایی پیچیده‌تر و بهبود عملکرد در شرایط کمبود داده برجسته کردند. این توانایی در یادگیری از نمونه‌های محدود، راه را برای توسعه سریع‌تر، کارآمدتر و مقیاس‌پذیرتر سیستم‌های NLP در حوزه‌های تخصصی پزشکی هموار می‌سازد.

در آینده، تحقیقات می‌تواند بر گسترش این رویکردها به سایر وظایف پیچیده‌تر NLP بالینی مانند استخراج رابطه (relation extraction) و پاسخ به پرسش (question answering) تمرکز کند. همچنین، بررسی قابلیت تعمیم این مدل‌ها به دامنه‌های بالینی بسیار خاص و نادر که حتی تعداد نمونه‌های 16-shot نیز ممکن است دشوار باشد، می‌تواند جهت‌گیری مهمی برای تحقیقات آتی باشد. ادغام این روش‌ها با مدل‌های چندوجهی که نه تنها از متن بلکه از تصاویر پزشکی و سایر داده‌های بالینی نیز بهره می‌برند، می‌تواند گام بعدی در جهت ایجاد سیستم‌های هوش مصنوعی جامع‌تر در مراقبت‌های بهداشتی باشد. در نهایت، این پژوهش نشان‌دهنده یک پیشرفت مهم در به‌کارگیری هوش مصنوعی برای مقابله با چالش‌های داده‌ای در یکی از حساس‌ترین و حیاتی‌ترین حوزه‌های کاربردی است.