مقاله حاضر به بررسی استفاده از مدل‌های زبانی بزرگ مولد (Generative Large Language Models – LLMs) به عنوان ابزاری قدرتمند و همه‌منظوره در تحلیل متن، به ویژه در حوزه پردازش زبان طبیعی بالینی (Clinical Natural Language Processing – NLP) می‌پردازد. این تحقیق نشان می‌دهد که با استفاده از یک معماری یادگیری متن-به-متن (Text-to-Text Learning) مبتنی بر تنظیم سریع (Prompt Tuning)، می‌توان به نتایج قابل توجهی در حل وظایف مختلف و پیچیده NLP دست یافت. اهمیت این مقاله در ارائه یک روش یکپارچه و کارآمد برای استفاده از LLM‌ها در زمینه‌های تخصصی مانند پزشکی نهفته است، که پتانسیل کاهش هزینه‌ها و بهبود دقت و سرعت تحلیل داده‌های متنی را داراست.

این تحقیق توسط تیمی از محققان به رهبری Cheng Peng، Xi Yang، Aokun Chen، Zehao Yu، Kaleb E Smith، Anthony B Costa، Mona G Flores، Jiang Bian و Yonghui Wu انجام شده است. این محققان دارای تخصص در زمینه‌های پردازش زبان طبیعی، یادگیری ماشین، و بهداشت و درمان هستند. زمینه تحقیقاتی آن‌ها متمرکز بر توسعه و کاربرد مدل‌های زبانی بزرگ در حل چالش‌های مرتبط با پردازش داده‌های متنی بالینی است. هدف اصلی آن‌ها ارائه یک راهکار واحد و کارآمد برای انجام وظایف مختلف NLP در حوزه پزشکی، از جمله استخراج مفاهیم، تشخیص ارتباطات بین مفاهیم، نرمال‌سازی مفاهیم بالینی، و ابهام‌زدایی اختصارات بالینی است.

چکیده مقاله به این صورت است: هدف این مطالعه حل وظایف اصلی پردازش زبان طبیعی بالینی با استفاده از یک معماری یادگیری متن-به-متن یکپارچه، مبتنی بر یک مدل زبانی بزرگ مولد (LLM) از طریق تنظیم سریع است. روش کار، فرمول‌بندی 7 وظیفه کلیدی NLP بالینی به صورت یادگیری متن-به-متن و حل آن‌ها با استفاده از یک LLM بالینی مولد واحد، به نام GatorTronGPT، است که با استفاده از معماری GPT-3 توسعه یافته و با حداکثر 20 میلیارد پارامتر آموزش داده شده است. روش مورد استفاده، استفاده از پیام‌های نرم (یعنی بردارهای قابل آموزش) با LLM منجمد است، جایی که پارامترهای LLM به روز نمی‌شوند (یعنی منجمد می‌شوند) و فقط بردارهای پیام‌های نرم به روز می‌شوند، که به عنوان تنظیم سریع شناخته می‌شود. پیام‌های نرم اضافی به عنوان پیشوند به لایه ورودی اضافه شدند، که در طول تنظیم سریع بهینه شدند. این روش پیشنهادی با استفاده از 7 وظیفه NLP بالینی ارزیابی و با راه‌حل‌های خاص وظیفه قبلی مبتنی بر مدل‌های Transformer مقایسه شد. نتیجه‌گیری: رویکرد پیشنهادی با استفاده از یک LLM مولد واحد، به عملکردی در سطح تکنولوژی روز برای 5 از 7 وظیفه اصلی NLP بالینی دست یافت. رویکرد آن‌ها در استخراج مفاهیم و روابط مرتبط با عوامل اجتماعی موثر بر سلامت، نرمال‌سازی مفاهیم بالینی، ابهام‌زدایی اختصارات بالینی و استنتاج زبان طبیعی، عملکرد مدل‌های Transformer خاص وظیفه قبلی را بهبود بخشید. این رویکرد همچنین از یک مدل درک مطلب ماشینی مبتنی بر پیام (MRC) که قبلاً توسعه یافته بود، در استخراج مفاهیم و روابط بالینی بهتر عمل کرد. رویکرد پیشنهادی می‌تواند وعده “یک مدل برای همه” را از آموزش تا استقرار با استفاده از یک LLM مولد واحد ارائه دهد.

روش‌شناسی این تحقیق بر مبنای استفاده از یک مدل زبانی بزرگ مولد (LLM) به نام GatorTronGPT است. این مدل بر اساس معماری GPT-3 ساخته شده و با حداکثر 20 میلیارد پارامتر آموزش داده شده است. وجه تمایز این تحقیق، استفاده از رویکرد یادگیری متن-به-متن (Text-to-Text Learning) است. در این رویکرد، تمامی وظایف NLP به صورت تبدیل متن ورودی به متن خروجی فرموله می‌شوند. برای مثال، در استخراج مفاهیم بالینی، متن ورودی شامل یک گزارش پزشکی است و متن خروجی شامل لیستی از مفاهیم بالینی موجود در آن گزارش است.

محققان برای تنظیم مدل GatorTronGPT از روشی به نام تنظیم سریع (Prompt Tuning) استفاده کردند. در این روش، پارامترهای اصلی مدل LLM ثابت نگه داشته می‌شوند (منجمد می‌شوند) و تنها بخش کوچکی از مدل، به نام “پیام‌های نرم” (Soft Prompts)، آموزش داده می‌شوند. پیام‌های نرم، بردارهایی هستند که به عنوان پیشوند به ورودی مدل اضافه می‌شوند و به مدل کمک می‌کنند تا وظیفه مورد نظر را به درستی انجام دهد. این روش باعث کاهش چشمگیر هزینه‌های محاسباتی و زمان آموزش می‌شود، زیرا نیازی به به‌روزرسانی تمامی پارامترهای مدل نیست.

به طور خلاصه، روش‌شناسی تحقیق شامل مراحل زیر است:

• فرمول‌بندی وظایف NLP بالینی به صورت یادگیری متن-به-متن
• استفاده از مدل LLM (GatorTronGPT) پیش‌آموزش‌دیده
• تنظیم سریع مدل با استفاده از پیام‌های نرم
• ارزیابی عملکرد مدل بر روی 7 وظیفه NLP بالینی مختلف
• مقایسه نتایج با روش‌های سنتی مبتنی بر مدل‌های Transformer

نتایج این تحقیق نشان می‌دهد که رویکرد پیشنهادی عملکرد بسیار خوبی در حل وظایف NLP بالینی دارد. به طور خاص، این رویکرد توانسته است در 5 مورد از 7 وظیفه مورد بررسی، به عملکردی بهتر از روش‌های سنتی دست یابد. از جمله یافته‌های کلیدی این تحقیق می‌توان به موارد زیر اشاره کرد:

• بهبود عملکرد در استخراج مفاهیم و روابط مرتبط با عوامل اجتماعی موثر بر سلامت (Social Determinants of Health) به میزان 3% و 7% نسبت به مدل‌های Transformer خاص وظیفه. این موضوع اهمیت زیادی دارد زیرا درک این عوامل در بهبود سلامت جامعه بسیار موثر است. برای مثال، تشخیص اینکه یک بیمار با کمبود دسترسی به غذا یا مسکن مواجه است، می‌تواند به پزشکان کمک کند تا برنامه‌های درمانی مناسب‌تری را ارائه دهند.
• بهبود عملکرد در نرمال‌سازی مفاهیم بالینی به میزان 3.4%. نرمال‌سازی مفاهیم به معنای تبدیل عبارات مختلفی که به یک مفهوم واحد اشاره دارند، به یک عبارت استاندارد است. این امر برای جمع‌آوری و تحلیل دقیق داده‌های پزشکی ضروری است.
• بهبود عملکرد در ابهام‌زدایی اختصارات بالینی به میزان 3.4% تا 10%. اختصارات در متون پزشکی بسیار رایج هستند، اما می‌توانند ابهام ایجاد کنند. این یافته نشان می‌دهد که مدل پیشنهادی قادر است با دقت بالایی معنای اختصارات را در متن تشخیص دهد.
• بهبود عملکرد در استنتاج زبان طبیعی به میزان 5.5% تا 9%. استنتاج زبان طبیعی به معنای استخراج اطلاعات جدید از متن بر اساس اطلاعات موجود است. این قابلیت می‌تواند در تحلیل داده‌های پزشکی و تصمیم‌گیری بالینی بسیار مفید باشد.

علاوه بر این، این تحقیق نشان داد که مدل GatorTronGPT توانسته است در استخراج مفاهیم و روابط بالینی، از مدل GatorTron-MRC، که یک مدل درک مطلب ماشینی مبتنی بر پیام است، بهتر عمل کند. این یافته نشان می‌دهد که رویکرد یادگیری متن-به-متن با استفاده از تنظیم سریع، می‌تواند به نتایج بهتری نسبت به روش‌های سنتی دست یابد.

این تحقیق دستاوردهای مهمی در زمینه پردازش زبان طبیعی بالینی داشته است. از جمله کاربردهای بالقوه این تحقیق می‌توان به موارد زیر اشاره کرد:

• بهبود دقت و سرعت تحلیل داده‌های پزشکی: با استفاده از این رویکرد می‌توان گزارش‌های پزشکی، پرونده‌های الکترونیکی سلامت، و سایر متون پزشکی را به طور خودکار تحلیل کرد و اطلاعات مهم را استخراج کرد.
• کاهش هزینه‌های پردازش داده‌های پزشکی: با استفاده از یک مدل LLM واحد برای انجام وظایف مختلف، می‌توان هزینه‌های آموزش و استقرار مدل‌های متعدد را کاهش داد.
• بهبود تصمیم‌گیری بالینی: با استخراج دقیق‌تر و سریع‌تر اطلاعات از متون پزشکی، پزشکان می‌توانند تصمیمات بهتری در مورد درمان بیماران بگیرند.
• توسعه سیستم‌های پشتیبانی تصمیم‌گیری بالینی: می‌توان از این رویکرد برای توسعه سیستم‌های هوشمندی استفاده کرد که به پزشکان در تشخیص بیماری‌ها، تجویز داروها، و ارائه مراقبت‌های بهداشتی کمک می‌کنند.

این تحقیق همچنین نشان داد که رویکرد یادگیری متن-به-متن می‌تواند به عنوان یک روش “یک مدل برای همه” (One Model for All) عمل کند. به این معنا که می‌توان از یک مدل LLM واحد برای انجام وظایف مختلف NLP استفاده کرد، بدون اینکه نیاز به آموزش مدل‌های جداگانه برای هر وظیفه باشد. این امر باعث کاهش پیچیدگی و هزینه‌های استقرار مدل‌های NLP می‌شود.

در مجموع، این تحقیق نشان می‌دهد که مدل‌های زبانی بزرگ مولد (LLMs) با استفاده از رویکرد یادگیری متن-به-متن و تنظیم سریع، می‌توانند به عنوان ابزاری قدرتمند و همه‌منظوره در تحلیل متن، به ویژه در حوزه پردازش زبان طبیعی بالینی، مورد استفاده قرار گیرند. این رویکرد پتانسیل بهبود دقت، سرعت، و کارایی پردازش داده‌های پزشکی را دارد و می‌تواند به توسعه سیستم‌های پشتیبانی تصمیم‌گیری بالینی کمک کند. این تحقیق گامی مهم در جهت استفاده از هوش مصنوعی برای بهبود مراقبت‌های بهداشتی است.