در سال‌های اخیر، استفاده از مدل‌های زبان بزرگ (LLMs) در حوزه‌های مختلف پردازش زبان طبیعی (NLP) رشد چشمگیری داشته است. یکی از زمینه‌های نوظهور و بسیار مهم، کاربرد این مدل‌ها در حوزه بالینی و پزشکی است. مقاله حاضر، با عنوان «مدل‌های زبان بزرگ، استخراج‌کننده‌های اطلاعات بالینی چندنمونه‌ای»، به بررسی توانایی این مدل‌ها در استخراج اطلاعات مهم از متون بالینی می‌پردازد. این مقاله نشان می‌دهد که LLMها، حتی بدون آموزش اختصاصی در حوزه بالینی، می‌توانند عملکرد قابل قبولی در استخراج اطلاعات از این متون داشته باشند.

اهمیت این تحقیق از چند جنبه قابل بررسی است. اولاً، استخراج اطلاعات از متون بالینی، نظیر یادداشت‌های پزشکان، گزارش‌های آزمایشگاهی و پرونده‌های بیماران، می‌تواند به بهبود کیفیت مراقبت‌های بهداشتی، کاهش خطاها و تسریع در فرایند تصمیم‌گیری کمک کند. دوماً، کمبود داده‌های آموزشی برچسب‌گذاری‌شده در حوزه بالینی، همواره یک چالش بزرگ برای توسعه سیستم‌های NLP بوده است. این مقاله نشان می‌دهد که LLMها می‌توانند با استفاده از تعداد محدودی نمونه آموزشی (Few-Shot)، عملکرد خوبی در این حوزه داشته باشند و نیاز به داده‌های برچسب‌گذاری‌شده گسترده را کاهش دهند.

این مقاله توسط مونیکا آگراوال، استفان هگسلمان، هانتر لنگ، یون کیم و دیوید سانتاگ نوشته شده است. نویسندگان، محققان برجسته‌ای در زمینه‌های پردازش زبان طبیعی، یادگیری ماشین و انفورماتیک پزشکی هستند. تخصص و تجربه آن‌ها در این حوزه‌ها، به اعتبار و ارزش علمی این مقاله افزوده است.

زمینه تحقیق این مقاله، در تقاطع پردازش زبان طبیعی و حوزه بالینی قرار دارد. هدف اصلی، توسعه روش‌هایی برای استخراج خودکار اطلاعات مهم از متون بالینی با استفاده از مدل‌های زبان بزرگ است. این تحقیق، با هدف غلبه بر چالش‌های موجود در این حوزه، نظیر کمبود داده‌های آموزشی و تفاوت بین زبان عمومی و زبان تخصصی بالینی، انجام شده است.

چکیده مقاله به این صورت است: «یکی از اهداف دیرینه جامعه پردازش زبان طبیعی بالینی، استخراج متغیرهای مهم موجود در یادداشت‌های بالینی است. با این حال، موانعی از جمله تغییر مجموعه داده از دامنه عمومی و کمبود مجموعه‌های بالینی و حاشیه‌نویسی عمومی وجود داشته است. در این مقاله، نشان می‌دهیم که مدل‌های زبان بزرگ، مانند InstructGPT، عملکرد خوبی در استخراج اطلاعات صفر و چندشات از متن بالینی دارند، علی‌رغم اینکه به‌طور خاص برای دامنه بالینی آموزش ندیده‌اند. در حالی که عملکرد طبقه‌بندی و تولید متن قبلاً به طور گسترده در چنین مدل‌هایی مورد مطالعه قرار گرفته است، در اینجا علاوه بر این نشان می‌دهیم که چگونه از آنها برای مقابله با مجموعه‌ای متنوع از وظایف NLP که نیاز به خروجی‌های ساختاریافته‌تری دارند، از جمله شناسایی دهانه، طبقه‌بندی توالی در سطح نشانه، و استخراج رابطه استفاده کنیم. علاوه بر این، به دلیل کمبود داده‌های موجود برای ارزیابی این سیستم‌ها، مجموعه‌های داده جدیدی را برای معیارسازی استخراج اطلاعات بالینی چند شات بر اساس حاشیه‌نویسی مجدد دستی مجموعه داده CASI برای وظایف جدید معرفی می‌کنیم. در وظایف استخراج بالینی که مورد مطالعه قرار دادیم، سیستم‌های GPT-3 به طور قابل توجهی بهتر از خطوط پایه صفر و چند شات موجود عمل می‌کنند.»

به طور خلاصه، این مقاله نشان می‌دهد که مدل‌های زبان بزرگ، نظیر GPT-3، می‌توانند به عنوان استخراج‌کننده‌های قوی اطلاعات بالینی عمل کنند. این مدل‌ها، حتی با تعداد کمی نمونه آموزشی، قادر به استخراج اطلاعات مهم از متون بالینی، شناسایی مفاهیم کلیدی، و درک روابط بین آن‌ها هستند. نویسندگان، برای ارزیابی عملکرد این مدل‌ها، مجموعه‌داده جدیدی را نیز معرفی کرده‌اند.

روش‌شناسی تحقیق این مقاله، شامل چند مرحله کلیدی است:

• انتخاب مدل‌های زبان بزرگ: نویسندگان از مدل‌های زبان بزرگ پیش‌آموزش‌شده، نظیر InstructGPT و GPT-3، استفاده کرده‌اند. این مدل‌ها، با استفاده از حجم عظیمی از داده‌های متنی آموزش داده شده‌اند و توانایی بالایی در درک و تولید زبان طبیعی دارند.
• تعریف وظایف استخراج اطلاعات: نویسندگان، مجموعه‌ای از وظایف استخراج اطلاعات را تعریف کرده‌اند که شامل شناسایی بازه‌ها (Span Identification)، طبقه‌بندی توالی در سطح توکن (Token-Level Sequence Classification) و استخراج روابط (Relation Extraction) می‌شود.
• آماده‌سازی داده‌ها: به دلیل کمبود داده‌های برچسب‌گذاری‌شده در حوزه بالینی، نویسندگان، مجموعه‌داده CASI را مجدداً حاشیه‌نویسی کرده‌اند و مجموعه‌داده جدیدی را برای ارزیابی عملکرد مدل‌ها ایجاد کرده‌اند.
• ارزیابی عملکرد مدل‌ها: نویسندگان، عملکرد مدل‌های زبان بزرگ را در وظایف مختلف استخراج اطلاعات با استفاده از معیارهای ارزیابی مناسب، نظیر دقت (Precision)، بازیابی (Recall) و نمره F1، اندازه‌گیری کرده‌اند.
• مقایسه با روش‌های پایه: نویسندگان، عملکرد مدل‌های زبان بزرگ را با روش‌های پایه (Baseline) موجود در حوزه استخراج اطلاعات بالینی مقایسه کرده‌اند تا اثربخشی روش پیشنهادی خود را نشان دهند.

به عنوان مثال، در وظیفه شناسایی بازه‌ها، مدل باید بخش‌هایی از متن را که حاوی اطلاعات مهم بالینی هستند، شناسایی کند. فرض کنید یک یادداشت پزشکی شامل این جمله باشد: “بیمار با درد شدید قفسه سینه به بیمارستان مراجعه کرد.” مدل باید بتواند عبارت “درد شدید قفسه سینه” را به عنوان یک بازه مهم شناسایی کند.

یافته‌های کلیدی این مقاله عبارتند از:

• عملکرد بالای مدل‌های زبان بزرگ: مدل‌های زبان بزرگ، نظیر GPT-3، عملکرد بسیار خوبی در وظایف استخراج اطلاعات بالینی از خود نشان داده‌اند. این مدل‌ها، به طور قابل توجهی از روش‌های پایه موجود در این حوزه بهتر عمل کرده‌اند.
• اثربخشی یادگیری چندنمونه‌ای: مدل‌های زبان بزرگ، حتی با تعداد کمی نمونه آموزشی (Few-Shot)، قادر به استخراج اطلاعات دقیق از متون بالینی هستند. این امر، نیاز به داده‌های برچسب‌گذاری‌شده گسترده را کاهش می‌دهد و امکان استفاده از این مدل‌ها در شرایطی که داده‌های کمی در دسترس است را فراهم می‌کند.
• توانایی در انجام وظایف مختلف: مدل‌های زبان بزرگ، قادر به انجام وظایف مختلف استخراج اطلاعات، نظیر شناسایی بازه‌ها، طبقه‌بندی توالی در سطح توکن و استخراج روابط هستند. این امر نشان می‌دهد که این مدل‌ها، ابزارهای قدرتمندی برای تحلیل متون بالینی هستند.
• معرفی مجموعه‌داده جدید: نویسندگان، مجموعه‌داده جدیدی را برای ارزیابی عملکرد مدل‌ها در وظایف استخراج اطلاعات بالینی معرفی کرده‌اند. این مجموعه‌داده، می‌تواند به عنوان یک معیار ارزیابی استاندارد برای تحقیقات آینده در این حوزه مورد استفاده قرار گیرد.

کاربردهای این تحقیق بسیار گسترده است و می‌تواند تحولات چشمگیری را در حوزه بهداشت و درمان ایجاد کند. برخی از کاربردهای مهم این تحقیق عبارتند از:

• بهبود کیفیت مراقبت‌های بهداشتی: با استخراج خودکار اطلاعات مهم از متون بالینی، پزشکان و پرستاران می‌توانند به اطلاعات دقیق و کاملی در مورد وضعیت بیماران دسترسی داشته باشند و تصمیمات بهتری اتخاذ کنند.
• کاهش خطاها: با استفاده از سیستم‌های استخراج اطلاعات خودکار، می‌توان خطاهای انسانی در جمع‌آوری و تحلیل اطلاعات بالینی را کاهش داد.
• تسریع در فرایند تصمیم‌گیری: با دسترسی سریع به اطلاعات مهم، پزشکان می‌توانند فرایند تشخیص و درمان را تسریع کنند.
• تحقیق و توسعه: این تحقیق می‌تواند به عنوان پایه‌ای برای تحقیقات آینده در زمینه استفاده از مدل‌های زبان بزرگ در حوزه بالینی مورد استفاده قرار گیرد.
• توسعه ابزارهای پشتیبانی تصمیم‌گیری بالینی: از نتایج این تحقیق می‌توان در توسعه ابزارهای پشتیبانی تصمیم‌گیری بالینی استفاده کرد که به پزشکان در تشخیص و درمان بیماری‌ها کمک می‌کنند.

به عنوان مثال، تصور کنید که یک سیستم استخراج اطلاعات خودکار می‌تواند به طور خودکار اطلاعات مربوط به سابقه پزشکی بیمار، داروهای مصرفی و علائم بیماری را از پرونده الکترونیکی بیمار استخراج کند و به پزشک ارائه دهد. این امر می‌تواند به پزشک کمک کند تا تشخیص دقیق‌تری داشته باشد و درمان مناسبی را تجویز کند.

مقاله «مدل‌های زبان بزرگ، استخراج‌کننده‌های اطلاعات بالینی چندنمونه‌ای» نشان می‌دهد که مدل‌های زبان بزرگ، پتانسیل بالایی برای استخراج اطلاعات مهم از متون بالینی دارند. این مدل‌ها، حتی با تعداد کمی نمونه آموزشی، قادر به انجام وظایف مختلف استخراج اطلاعات با دقت بالا هستند. این تحقیق، گامی مهم در جهت استفاده از هوش مصنوعی در حوزه بهداشت و درمان است و می‌تواند به بهبود کیفیت مراقبت‌های بهداشتی، کاهش خطاها و تسریع در فرایند تصمیم‌گیری کمک کند.

با توجه به اهمیت روزافزون استفاده از هوش مصنوعی در حوزه سلامت، تحقیقات بیشتر در این زمینه ضروری است. توسعه مجموعه‌داده‌های بزرگ و برچسب‌گذاری‌شده، بهبود الگوریتم‌های یادگیری ماشین و توسعه ابزارهای کاربردی مبتنی بر هوش مصنوعی، می‌تواند به تحول در ارائه خدمات بهداشتی و درمانی منجر شود.