معرفی مقاله و اهمیت آن

در دوران کنونی که هوش مصنوعی مولد با سرعت بی‌سابقه‌ای در حال پیشرفت است، مدل‌های زبانی بزرگ (LLMs) به عنوان ستون فقرات بسیاری از نوآوری‌ها در پردازش زبان طبیعی (NLP) ظاهر شده‌اند. این مدل‌ها قابلیت‌های چشمگیری در درک، تولید و استدلال زبانی از خود نشان داده‌اند. با این حال، استفاده مؤثر از توانایی‌های این مدل‌ها در حوزه‌های تخصصی، به ویژه در جایی که داده‌های برچسب‌گذاری شده کمیاب یا گران‌قیمت هستند، مانند حوزه بالینی، چالش‌های منحصربه‌فردی را به همراه دارد.

مقاله “ارزیابی تجربی راهبردهای پرسش‌گری برای مدل‌های زبانی بزرگ در پردازش زبان طبیعی بالینی بدون داده‌های آموزشی” به بررسی دقیق این چالش می‌پردازد. اهمیت این تحقیق در آن است که برای بهره‌برداری از دانش بالینی پنهان در LLMها، نیازمند طراحی پرسش‌گری‌های مؤثر (effective prompts) هستیم که بتوانند مدل را برای انجام وظایف خاص NLP بالینی، بدون نیاز به هیچ‌گونه داده آموزشی خاص آن وظیفه، هدایت کنند. این فرآیند که به آن یادگیری در متن (in-context learning) گفته می‌شود، هم علم است و هم هنر، و نیازمند درک نقاط قوت و ضعف LLMهای مختلف و رویکردهای مهندسی پرسش‌گری است.

این مقاله به عنوان یکی از اولین مطالعات جامع و سیستماتیک در زمینه ارزیابی تجربی رویکردهای مختلف مهندسی پرسش‌گری برای NLP بالینی در عصر هوش مصنوعی مولد شناخته می‌شود. یافته‌های آن می‌تواند الهام‌بخش و راهنمای تحقیقات آتی در این حوزه باشد و به تسریع پذیرش LLMها در کاربردهای بالینی کمک شایانی کند.

نویسندگان و زمینه تحقیق

این تحقیق توسط تیمی متشکل از پژوهشگران برجسته شامل Sonish Sivarajkumar, Mark Kelley, Alyssa Samolyk-Mazzanti, Shyam Visweswaran و Yanshan Wang انجام شده است. نام این نویسندگان حاکی از تخصص عمیق آن‌ها در تقاطع هوش مصنوعی، پردازش زبان طبیعی و انفورماتیک بالینی است. این ترکیب تخصصی برای انجام چنین مطالعه‌ای در حوزه‌ای حساس و پیچیده مانند پزشکی، حیاتی است.

زمینه تحقیق این مقاله، پردازش زبان طبیعی بالینی است. این حوزه به استخراج، سازماندهی و تفسیر اطلاعات از اسناد پزشکی مانند پرونده‌های الکترونیکی سلامت، یادداشت‌های پزشک، گزارش‌های آزمایشگاهی و سایر متون بالینی می‌پردازد. پیچیدگی‌های زبان پزشکی، وجود اصطلاحات تخصصی، اختصارات، ساختارهای گرامری خاص و نیاز به درک مفهومی عمیق، این حوزه را به یکی از چالش‌برانگیزترین زیرشاخه‌های NLP تبدیل کرده است. اهمیت این حوزه در کاربردهای بی‌شمار آن نهفته است؛ از پشتیبانی از تصمیم‌گیری بالینی و بهبود کیفیت مراقبت‌های بهداشتی گرفته تا کشف داروها و تحقیقات پزشکی.

در حال حاضر، با ظهور LLMها، فرصتی بی‌نظیر برای غلبه بر موانع سنتی NLP بالینی، به‌ویژه مشکل کمبود داده‌های برچسب‌گذاری شده، فراهم شده است. با این حال، چالش اصلی این است که چگونه این مدل‌های قدرتمند را برای انجام وظایف بالینی خاص و دقیق، بدون نیاز به آموزش مجدد یا حجم عظیمی از داده‌های اختصاصی، تنظیم و بهینه کنیم. اینجاست که مهندسی پرسش‌گری (Prompt Engineering) به عنوان یک رشته حیاتی برای “باز کردن قفل” دانش بالینی موجود در LLMها وارد می‌شود.

چکیده و خلاصه محتوا

این مقاله بر قابلیت‌های چشمگیر مدل‌های زبانی بزرگ (LLMs) در پردازش زبان طبیعی (NLP) تأکید دارد، به ویژه در حوزه‌هایی که داده‌های برچسب‌گذاری شده کمیاب یا گران‌قیمت هستند، مانند حوزه بالینی. برای بهره‌برداری از دانش بالینی پنهان در این LLMها، نیاز به طراحی پرسش‌گری‌های مؤثر است که بتوانند آن‌ها را برای انجام وظایف خاص NLP بالینی بدون هیچ داده آموزشی خاص وظیفه، هدایت کنند. این فرآیند که به یادگیری در متن معروف است، نیازمند درک نقاط قوت و ضعف LLMهای مختلف و رویکردهای مهندسی پرسش‌گری است.

پژوهشگران در این مقاله، یک مطالعه تجربی جامع و سیستماتیک را در زمینه مهندسی پرسش‌گری برای پنج وظیفه NLP بالینی انجام داده‌اند:

• ابهام‌زدایی معنایی بالینی (Clinical Sense Disambiguation): تشخیص معنای صحیح یک اصطلاح پزشکی در بافت‌های مختلف.
• استخراج شواهد زیست‌پزشکی (Biomedical Evidence Extraction): شناسایی و استخراج اطلاعات کلیدی که شواهد علمی را در متون پزشکی تشکیل می‌دهند.
• حل ارجاع (Coreference Resolution): شناسایی تمامی عباراتی که به یک موجودیت واحد در متن اشاره دارند.
• استخراج وضعیت دارویی (Medication Status Extraction): تعیین وضعیت مصرف یک دارو (مثلاً فعال، متوقف شده، توصیه شده).
• استخراج ویژگی‌های دارویی (Medication Attribute Extraction): شناسایی جزئیات مرتبط با داروها مانند دوز، دفعات مصرف یا مسیر تجویز.

آن‌ها پرسش‌گری‌های مطرح شده در ادبیات اخیر را ارزیابی کرده‌اند، از جمله:

• پیشوند ساده (simple prefix)
• جای خالی ساده (simple cloze)
• زنجیره تفکر (chain of thought)
• پرسش‌گری پیش‌بینی‌کننده (anticipatory prompts)

علاوه بر این، دو نوع جدید از پرسش‌گری را نیز معرفی کرده‌اند:

• پرسش‌گری اکتشافی (heuristic prompting)
• پرسش‌گری ترکیبی (ensemble prompting)

عملکرد این پرسش‌گری‌ها بر روی سه مدل زبانی بزرگ پیشرفته شامل GPT-3.5، BARD و LLAMA2 ارزیابی شد. همچنین، آن‌ها پرسش‌گری بدون داده آموزشی (zero-shot prompting) را با پرسش‌گری با چند نمونه محدود (few-shot prompting) مقایسه کرده و بینش‌ها و رهنمودهای نوینی برای مهندسی پرسش‌گری در NLP بالینی ارائه می‌دهند.

روش‌شناسی تحقیق

روش‌شناسی این مطالعه یک چارچوب تجربی جامع و سیستماتیک را برای ارزیابی راهبردهای پرسش‌گری در NLP بالینی بدون داده‌های آموزشی ارائه می‌دهد. این مطالعه با هدف ایجاد فهم عمیق‌تری از چگونگی مؤثرسازی LLMها برای وظایف پیچیده بالینی انجام شده است.

۱. انتخاب وظایف NLP بالینی:

پنج وظیفه کلیدی و چالش‌برانگیز در NLP بالینی انتخاب شدند تا دامنه وسیعی از نیازهای این حوزه را پوشش دهند:

• ابهام‌زدایی معنایی بالینی (Clinical Sense Disambiguation): به عنوان مثال، کلمه “discharge” می‌تواند به “ترخیص بیمار” یا “ترشحات بدن” اشاره داشته باشد. مدل باید معنای صحیح را از متن تشخیص دهد.
• استخراج شواهد زیست‌پزشکی (Biomedical Evidence Extraction): مانند استخراج جملاتی که نشان‌دهنده اثربخشی یک دارو در یک مطالعه بالینی هستند.
• حل ارجاع (Coreference Resolution): برای مثال، در جمله‌ای مانند “بیمار به پزشک مراجعه کرد. او از درد شانه شکایت داشت.” تشخیص اینکه “او” به “بیمار” اشاره دارد.
• استخراج وضعیت دارویی (Medication Status Extraction): تعیین اینکه آیا دارویی مانند “انسولین” در حال حاضر برای بیمار “فعال” است یا “متوقف شده است”.
• استخراج ویژگی‌های دارویی (Medication Attribute Extraction): استخراج دوز (“۵ میلی‌گرم”)، دفعات (“سه بار در روز”) و مسیر (“خوراکی”) یک دارو.

۲. راهبردهای پرسش‌گری ارزیابی شده:

پژوهشگران هم راهبردهای موجود و هم راهبردهای نوینی را مورد ارزیابی قرار دادند:

• پرسش‌گری‌های موجود:
  • پیشوند ساده (Simple Prefix): یک دستورالعمل مستقیم و کوتاه به مدل، مانند “استخراج وضعیت دارویی: [متن]”.
  • جای خالی ساده (Simple Cloze): استفاده از فرمت “جای خالی” که مدل باید آن را پر کند، مثلاً “وضعیت داروی [نام دارو] در متن زیر [جای خالی] است.”
  • زنجیره تفکر (Chain of Thought – CoT): این روش مدل را تشویق می‌کند تا قبل از ارائه پاسخ نهایی، مراحل استدلالی خود را به صورت گام به گام توضیح دهد. به عنوان مثال، ابتدا بگوید “مرحله ۱: دارو را شناسایی کن، مرحله ۲: وضعیت آن را جستجو کن، مرحله ۳: نتیجه را گزارش کن.” این کار به مدل کمک می‌کند تا به پاسخ‌های دقیق‌تری برسد، به خصوص برای وظایف پیچیده.
  • پرسش‌گری پیش‌بینی‌کننده (Anticipatory Prompts): این پرسش‌گری‌ها سعی می‌کنند از قبل به سؤالات یا سوءتفاهم‌های احتمالی مدل پاسخ دهند یا زمینه‌های احتمالی خطا را پوشش دهند.
• پرسش‌گری‌های جدید (معرفی شده در این مقاله):
  • پرسش‌گری اکتشافی (Heuristic Prompting): این روش از قواعد و دانش شهودی (heuristic rules) انسانی برای هدایت مدل استفاده می‌کند. به عنوان مثال، ممکن است شامل دستورالعمل‌هایی باشد که بر اساس مشاهدات متخصصان بالینی تدوین شده‌اند تا مدل را به سمت الگوهای استخراج اطلاعات خاص در متون پزشکی سوق دهد.
  • پرسش‌گری ترکیبی (Ensemble Prompting): این رویکرد شامل ترکیب خروجی‌های چندین پرسش‌گری مختلف یا اجرای یک پرسش‌گری واحد با تنظیمات اندکی متفاوت و سپس جمع‌آوری و تلفیق نتایج برای رسیدن به یک پاسخ نهایی قوی‌تر است. این کار به کاهش واریانس و بهبود پایداری پاسخ‌ها کمک می‌کند.

۳. مدل‌های زبانی بزرگ (LLMs) مورد استفاده:

پژوهشگران عملکرد پرسش‌گری‌ها را بر روی سه مدل LLM پیشرفته ارزیابی کردند:

• GPT-3.5: یکی از مدل‌های قدرتمند و شناخته شده از OpenAI.
• BARD (اکنون Gemini): مدل گوگل که در آن زمان به عنوان یک رقیب قوی برای GPT-3.5 مطرح بود.
• LLAMA2: یک مدل متن‌باز از Meta AI که امکان دسترسی و سفارشی‌سازی بیشتری را فراهم می‌کند.

۴. سناریوهای ارزیابی:

مطالعه به مقایسه دو سناریوی اصلی پرداخت:

• پرسش‌گری بدون داده آموزشی (Zero-shot Prompting): مدل تنها با دستورالعمل (prompt) و بدون هیچ مثال وظیفه محور، وظیفه را انجام می‌دهد.
• پرسش‌گری با چند نمونه محدود (Few-shot Prompting): مدل علاوه بر دستورالعمل، چند مثال محدود از ورودی و خروجی صحیح برای وظیفه دریافت می‌کند تا عملکرد خود را بهبود بخشد.

هدف این مقایسه، درک تأثیر وجود مثال‌های کم در متن (in-context examples) بر عملکرد مدل‌ها و همچنین اثربخشی استراتژی‌های مختلف پرسش‌گری در هر دو سناریو بود. ارزیابی با استفاده از معیارهای استاندارد NLP مانند دقت (precision)، فراخوانی (recall) و F1-score انجام شد تا عملکرد مدل‌ها به صورت کمی سنجیده شود.

یافته‌های کلیدی

این مطالعه سیستماتیک، بینش‌های مهمی را در مورد اثربخشی راهبردهای مختلف پرسش‌گری برای LLMها در وظایف NLP بالینی ارائه می‌دهد. نتایج این تحقیقات نشان‌دهنده پیچیدگی و ظرافت مهندسی پرسش‌گری است و بر این نکته تأکید می‌کند که هیچ راهبرد واحدی برای همه وظایف و مدل‌ها بهینه نیست.

• تفاوت عملکرد بین LLMها: مشاهده شد که عملکرد مدل‌های زبانی بزرگ مورد آزمایش (GPT-3.5، BARD، LLAMA2) در پاسخ به یک پرسش‌گری مشابه متفاوت بود. این نشان می‌دهد که درک معماری و قابلیت‌های هر مدل در طراحی پرسش‌گری اهمیت دارد. برای مثال، ممکن است GPT-3.5 در وظایف استدلالی پیچیده‌تر با CoT بهتر عمل کند، در حالی که LLAMA2 به دستورالعمل‌های صریح‌تر و ساده‌تر پاسخ بهتری بدهد.
• اثربخشی روش زنجیره تفکر (Chain of Thought – CoT): همانند تحقیقات عمومی‌تر در NLP، روش CoT در بسیاری از وظایف بالینی، به ویژه آن‌هایی که نیاز به استدلال چندمرحله‌ای یا درک پیچیدگی‌های معنایی دارند، بهبود قابل توجهی در عملکرد نشان داد. توضیح گام به گام فرآیند تفکر، به مدل کمک می‌کند تا از خطاهای رایج جلوگیری کرده و به پاسخ‌های دقیق‌تر و منطقی‌تری برسد. برای مثال، در ابهام‌زدایی معنایی بالینی، CoT به مدل اجازه می‌دهد تا قبل از تصمیم‌گیری نهایی، به بررسی زمینه‌های مختلف یک اصطلاح بپردازد.
• عملکرد راهبردهای جدید (اکتشافی و ترکیبی):
  • پرسش‌گری اکتشافی (Heuristic Prompting): این روش، که از دانش متخصصین حوزه برای شکل‌دهی به پرسش‌گری استفاده می‌کند، در برخی وظایف خاص بالینی نتایج بسیار امیدوارکننده‌ای نشان داد. به ویژه در وظایفی که دارای الگوهای مشخصی در متن هستند (مانند استخراج ویژگی‌های دارویی که اغلب از ساختارهای جمله‌ای خاصی پیروی می‌کنند)، قواعد اکتشافی به مدل کمک کردند تا به صورت هدفمندتری اطلاعات را استخراج کند.
  • پرسش‌گری ترکیبی (Ensemble Prompting): این روش با ترکیب خروجی‌های چندین پرسش‌گری یا اجرای مکرر یک پرسش‌گری، به طور کلی به عملکرد پایدارتر و قوی‌تری دست یافت. این رویکرد به ویژه در کاهش واریانس و بهبود مقاومت در برابر خطاها مفید بود، زیرا نقاط ضعف یک پرسش‌گری می‌توانست توسط نقاط قوت دیگری جبران شود.
• مقایسه Zero-shot و Few-shot Prompting: به طور کلی، few-shot prompting (یعنی ارائه چند مثال محدود در کنار پرسش‌گری) عملکرد بهتری نسبت به zero-shot prompting (فقط پرسش‌گری بدون مثال) از خود نشان داد. حتی تعداد کمی از مثال‌های دقیق و نماینده می‌توانستند به LLM کمک کنند تا با دقت بیشتری وظیفه را درک کرده و الگوهای مورد نظر را شناسایی کند. این موضوع بر اهمیت کیفیت مثال‌ها حتی در حجم کم تأکید دارد.
• بینش‌های جدید برای مهندسی پرسش‌گری:
  • انتخاب پرسش‌گری بهینه به شدت به ماهیت وظیفه بالینی بستگی دارد. وظایف استخراج اطلاعات ساده ممکن است با پرسش‌گری‌های ساده‌تر نیز به خوبی انجام شوند، در حالی که وظایف نیازمند استدلال پیچیده از CoT یا پرسش‌گری‌های اکتشافی سود می‌برند.
  • وضوح و صراحت در پرسش‌گری حیاتی است. ابهام می‌تواند منجر به تفسیر نادرست و خروجی‌های نامطلوب شود.
  • قابلیت تطبیق‌پذیری (adaptability) پرسش‌گری برای LLMهای مختلف یک چالش است؛ یک پرسش‌گری که روی GPT-3.5 عالی عمل می‌کند، ممکن است برای LLAMA2 نیاز به تنظیم داشته باشد.

کاربردها و دستاوردها

یافته‌های این تحقیق پیامدهای عملی گسترده‌ای برای توسعه و استقرار سیستم‌های NLP بالینی مبتنی بر LLMها دارد. این دستاوردها می‌توانند به طور قابل توجهی به پیشرفت در حوزه پزشکی و مراقبت‌های بهداشتی کمک کنند:

• توسعه سریع‌تر ابزارهای بالینی هوش مصنوعی: با ارائه رهنمودهای مؤثر برای مهندسی پرسش‌گری، این تحقیق امکان ایجاد سریع‌تر و کم‌هزینه‌تر ابزارهای هوش مصنوعی برای وظایف بالینی را فراهم می‌کند. نیازی به جمع‌آوری و برچسب‌گذاری حجم عظیمی از داده‌ها نیست، که به خودی خود یک فرآیند زمان‌بر و پرهزینه است. این امر به ویژه برای بیماری‌های نادر یا حوزه‌های تخصصی که داده‌های برچسب‌گذاری شده کمیاب هستند، بسیار ارزشمند است.
• بهبود کارایی در استخراج اطلاعات: پزشکان و محققان می‌توانند از این LLMهای مجهز به پرسش‌گری‌های بهینه برای استخراج اطلاعات حیاتی از پرونده‌های پزشکی، مقالات علمی و متون بالینی استفاده کنند. این امر شامل شناسایی سریع داروها، تشخیص بیماری‌ها، استخراج علائم، و ردیابی سیر درمان بیماران است که می‌تواند به افزایش دقت تشخیص و برنامه‌ریزی درمان کمک کند.
• پشتیبانی از تصمیم‌گیری بالینی: با استخراج و خلاصه‌سازی اطلاعات مرتبط از متون پزشکی، LLMها می‌توانند ابزارهای قدرتمندی برای پشتیبانی از تصمیم‌گیری بالینی فراهم آورند. به عنوان مثال، یک سیستم می‌تواند خلاصه‌ای از تاریخچه دارویی بیمار یا شواهد مربوط به اثربخشی یک درمان خاص را در اختیار پزشک قرار دهد.
• تسهیل تحقیقات پزشکی و کشف داروها: محققان می‌توانند از این تکنیک‌ها برای غربالگری حجم عظیمی از ادبیات زیست‌پزشکی، شناسایی روابط بین ژن‌ها و بیماری‌ها، و کشف نامزدهای دارویی جدید استفاده کنند. این امر می‌تواند فرآیند تحقیق و توسعه در داروسازی را تسریع بخشد.
• رهنمودهای عملی برای مهندسان پرسش‌گری: این مقاله نه تنها نشان می‌دهد کدام پرسش‌گری‌ها بهتر عمل می‌کنند، بلکه دلایل پشت این عملکرد را نیز روشن می‌کند. این بینش‌ها به مهندسان پرسش‌گری کمک می‌کند تا رویکردهای خود را با در نظر گرفتن ویژگی‌های خاص وظیفه و مدل، بهینه کنند. رهنمودهای عملی شامل استفاده از زنجیره تفکر برای وظایف پیچیده، پرسش‌گری اکتشافی برای الگوهای مشخص، و پرسش‌گری ترکیبی برای بهبود پایداری، و همچنین استفاده از چند نمونه محدود در صورت امکان است.
• افزایش دسترسی به هوش مصنوعی در بالین: با کاهش نیاز به تخصص عمیق در برنامه‌نویسی یا مهندسی یادگیری ماشین برای استقرار LLMها، این تحقیق به دموکراتیزه شدن دسترسی به هوش مصنوعی در محیط‌های بالینی کمک می‌کند. پزشکان و کارکنان بهداشتی می‌توانند با دانش اولیه از مهندسی پرسش‌گری، از قدرت LLMها برای حل مشکلات روزمره خود بهره‌مند شوند.

نتیجه‌گیری

مطالعه “ارزیابی تجربی راهبردهای پرسش‌گری برای مدل‌های زبانی بزرگ در پردازش زبان طبیعی بالینی بدون داده‌های آموزشی” یک گام مهم و حیاتی در مسیر بهره‌برداری کامل از پتانسیل مدل‌های زبانی بزرگ در حوزه حساس و پیچیده بالینی است. این مقاله به طور جامع و سیستماتیک به بررسی اثربخشی رویکردهای مختلف مهندسی پرسش‌گری می‌پردازد و بینش‌های عملی ارزشمندی را برای پژوهشگران و متخصصان این حوزه ارائه می‌دهد.

مهم‌ترین دستاورد این تحقیق، تأکید بر این واقعیت است که مهندسی پرسش‌گری یک عامل کلیدی برای موفقیت LLMها در وظایف بالینی بدون نیاز به داده‌های آموزشی وسیع است. این مطالعه نه تنها روش‌های موجود را ارزیابی کرده، بلکه با معرفی پرسش‌گری‌های اکتشافی و ترکیبی، افق‌های جدیدی را در این زمینه گشوده است. یافته‌ها نشان می‌دهند که راهبردهایی مانند زنجیره تفکر (CoT) برای استدلال‌های پیچیده و پرسش‌گری‌های ترکیبی برای بهبود پایداری، می‌توانند عملکرد LLMها را به طور چشمگیری افزایش دهند.

علاوه بر این، مقایسه بین zero-shot و few-shot prompting، بر اهمیت ارائه حتی تعداد محدودی از مثال‌های با کیفیت برای ارتقاء درک و دقت مدل تأکید می‌کند. تفاوت در عملکرد بین مدل‌های LLM مختلف نیز نشان می‌دهد که مهندسی پرسش‌گری باید با در نظر گرفتن ویژگی‌های خاص هر مدل انجام شود.

این تحقیق نه تنها به عنوان یک مرجع ارزشمند برای تحقیقات آتی در زمینه مهندسی پرسش‌گری برای NLP بالینی عمل می‌کند، بلکه راهکارهای عملی را برای توسعه سیستم‌های هوش مصنوعی کارآمدتر در مراقبت‌های بهداشتی فراهم می‌آورد. با تداوم تحقیقات در این مسیر، می‌توان انتظار داشت که LLMها نقش پررنگ‌تری در تشخیص، درمان و مدیریت بیماری‌ها ایفا کنند و به بهبود کیفیت زندگی بیماران و کارایی سیستم بهداشت و درمان کمک شایانی نمایند.