مقاله «Overview of the PromptCBLUE Shared Task in CHIP2023» گزارشی جامع از یک رقابت علمی مهم در حوزه پردازش زبان طبیعی (NLP) پزشکی در چین است. این رویداد که در کنفرانس معتبر CHIP-2023 برگزار شد، بستری نوین برای ارزیابی و مقایسه توانمندی‌های مدل‌های زبانی بزرگ (LLMs) در درک و تحلیل متون پزشکی زبان چینی فراهم آورد. اهمیت این مقاله در چند وجه قابل بررسی است: نخست، این مقاله یک معیار استاندارد و به‌روزرسانی‌شده به نام PromptCBLUE را معرفی می‌کند که بر پایه معیار CBLUE ساخته شده است. این معیار جدید، وظایف سنتی پردازش زبان را در قالبی مبتنی بر «اعلان» (Prompt-based) بازتعریف می‌کند تا با معماری و نحوه عملکرد مدل‌های مدرن هماهنگ باشد.

دوم، این رقابت به طور خاص بر دو رویکرد پیشرفته متمرکز است: تنظیم اعلان (Prompt Tuning) و یادگیری در زمینه (In-Context Learning). این دو تکنیک، از روش‌های کلیدی برای انطباق مدل‌های زبانی بزرگ با دامنه‌های تخصصی مانند پزشکی هستند، بدون آنکه نیاز به بازآموزی کامل و پرهزینه مدل‌ها باشد. مقاله با تشریح نتایج این رقابت، نمایی کلی از وضعیت فعلی این تکنولوژی‌ها و کارایی آن‌ها در دنیای واقعی ارائه می‌دهد. در نهایت، با گردهم آوردن تیم‌های برجسته از دانشگاه‌ها و صنعت، این مقاله به یک مرجع کلیدی برای پژوهشگران و توسعه‌دهندگان فعال در زمینه هوش مصنوعی برای سلامت تبدیل شده است و مسیر تحقیقات آینده را روشن می‌سازد.

این مقاله توسط تیمی از محققان برجسته در زمینه پردازش زبان طبیعی و انفورماتیک پزشکی به رشته تحریر درآمده است: وی ژو (Wei Zhu)، شیائولینگ وانگ (Xiaoling Wang)، موشا چن (Mosha Chen) و بوژو تانگ (Buzhou Tang). این پژوهشگران، به ویژه پروفسور تانگ، از چهره‌های شناخته‌شده در جامعه علمی NLP هستند و سابقه درخشانی در توسعه مدل‌ها و مجموعه داده‌های مرتبط با حوزه پزشکی دارند. فعالیت‌های آن‌ها عمدتاً بر چالش‌های منحصربه‌فرد پردازش متون پزشکی چینی متمرکز است.

زمینه این تحقیق، همگرایی دو روند قدرتمند در دنیای فناوری است: انقلاب مدل‌های زبانی بزرگ (LLMs) و نیاز روزافزون به کاربردهای هوشمند در حوزه سلامت. زبان پزشکی بسیار پیچیده، تخصصی و پر از اصطلاحات و ابهامات است. مدل‌های زبانی عمومی، هرچقدر هم که قدرتمند باشند، برای عملکرد دقیق در این حوزه نیازمند ارزیابی و انطباق تخصصی هستند. این مقاله در چنین بستری متولد شده است؛ جایی که نیاز به یک معیار استاندارد برای سنجش توانایی LLMها در وظایف پزشکی چینی احساس می‌شد. رقابت PromptCBLUE به عنوان یک آزمایشگاه زنده عمل می‌کند تا مشخص شود کدام مدل‌ها و کدام روش‌ها در تحلیل اطلاعات بالینی، پاسخ به سوالات پزشکی و استخراج داده‌های حیاتی از متون، بهترین عملکرد را دارند.

این مقاله به طور کامل، وظیفه مشترک PromptCBLUE را که در کنفرانس CHIP-2023 برگزار شد، تشریح می‌کند. هدف اصلی این رقابت، ایجاد یک بستر آزمایشی قدرتمند برای ارزیابی مدل‌های زبانی بزرگ، چه در دامنه عمومی و چه در دامنه تخصصی پزشکی چینی، در انجام وظایف پردازش زبان طبیعی پزشکی بوده است. این رقابت در دو مسیر اصلی و مجزا طراحی شد تا جنبه‌های مختلفی از قابلیت‌های LLMها را به چالش بکشد:

• مسیر اول: تنظیم اعلان چند وظیفه‌ای (Multitask Prompt Tuning): در این بخش، تمرکز بر توانایی مدل‌ها در یادگیری همزمان چندین وظیفه پزشکی از طریق روش «تنظیم اعلان» بود. در این روش، به جای تغییر میلیون‌ها پارامتر مدل، تنها یک «اعلان» کوچک و قابل یادگیری به ورودی اضافه می‌شود. این مسیر کارایی مدل‌ها را در بهینه‌سازی پارامتر-کارآمد (parameter-efficient) و تعمیم دانش میان وظایف مختلف پزشکی می‌سنجد.
• مسیر دوم: کاوش قابلیت‌های یادگیری در زمینه (Probing In-Context Learning): این مسیر به ارزیابی توانایی مدل‌های زبانی بزرگ منبع‌باز (Open-Sourced LLMs) در انجام وظایف بدون هیچ‌گونه آموزش یا تغییر وزن می‌پردازد. در این سناریو، مدل باید تنها با دیدن چند مثال (Few-shot) که در خود اعلان ورودی گنجانده شده، وظیفه مورد نظر را درک کرده و اجرا کند. این قابلیت یکی از ویژگی‌های برجسته و تحول‌آفرین مدل‌های زبانی مدرن است.

مقاله گزارش می‌دهد که تیم‌های متعددی از مراکز دانشگاهی و صنعتی در این چالش شرکت کردند و تیم‌های برتر به نتایج شگفت‌انگیزی دست یافتند. در ادامه، مقاله به توصیف دقیق وظایف، مجموعه داده‌های مورد استفاده، معیارهای ارزیابی و تحلیل سیستم‌ها و راهکارهای ارائه‌شده توسط تیم‌های برتر در هر دو مسیر می‌پردازد.

روش‌شناسی این مقاله بر پایه طراحی، اجرا و تحلیل یک رقابت علمی (Shared Task) استوار است. برگزارکنندگان، فرآیندی دقیق و استاندارد را برای اطمینان از صحت و اعتبار نتایج طی کرده‌اند.

۱. بازتعریف معیار CBLUE: اولین گام، بازسازی معیار موجود CBLUE در قالب جدیدی به نام PromptCBLUE بود. معیار CBLUE شامل مجموعه‌ای از وظایف پردازش زبان پزشکی چینی مانند تشخیص موجودیت‌های نام‌گذاری‌شده (NER)، طبقه‌بندی متن، و استخراج روابط بود. در PromptCBLUE، تمام این وظایف به یک فرمت یکپارچه مبتنی بر اعلان تبدیل شدند. برای مثال، یک وظیفه استخراج علائم بیماری از یک متن، به یک سوال مستقیم از مدل تبدیل شد: «علائم ذکر شده در متن زیر کدامند؟» این یکسان‌سازی، ارزیابی مدل‌ها را در یک چارچوب واحد ممکن ساخت.

۲. طراحی دو مسیر رقابتی:

• مسیر Prompt Tuning: شرکت‌کنندگان یک مدل پایه مشخص دریافت کردند و وظیفه داشتند با استفاده از تکنیک‌های تنظیم اعلان، بهترین عملکرد را در مجموعه‌ای از وظایف پزشکی به دست آورند. ارزیابی نهایی بر اساس میانگین امتیازات در تمام وظایف (Macro F1-score) محاسبه شد. این رویکرد، توانایی مدل در یادگیری چندوظیفه‌ای را به طور مستقیم می‌سنجد.
• مسیر In-Context Learning (ICL): در این مسیر، شرکت‌کنندگان آزاد بودند تا از هر مدل زبانی بزرگ منبع‌بازی استفاده کنند. چالش اصلی، مهندسی اعلان (Prompt Engineering) بود؛ یعنی طراحی بهترین اعلان ورودی، شامل دستورالعمل‌ها و مثال‌های مناسب (few-shot examples)، برای هدایت مدل به سمت پاسخ صحیح بدون تغییر پارامترهای داخلی آن.

۳. مجموعه داده‌ها و ارزیابی: از مجموعه داده‌های استاندارد در حوزه پزشکی چین، که از معیار CBLUE استخراج شده بودند، استفاده شد. این داده‌ها شامل متون بالینی، گزارش‌های پزشکی و مقالات علمی بودند. برای هر وظیفه، معیارهای ارزیابی مشخصی مانند دقت (Accuracy)، امتیاز F1 و معیارهای ارزیابی تولید متن مانند ROUGE تعریف شد. نتایج تیم‌ها بر روی یک مجموعه داده آزمون (Test Set) مخفی ارزیابی گردید تا از هرگونه تقلب یا بیش‌برازش (Overfitting) جلوگیری شود.

تحلیل نتایج رقابت PromptCBLUE که در این مقاله ارائه شده، یافته‌های مهمی را در مورد وضعیت فعلی مدل‌های زبانی بزرگ در حوزه پزشکی آشکار می‌کند:

• کارایی بالای روش‌های مبتنی بر اعلان: نتایج برجسته تیم‌های برتر نشان داد که هر دو رویکرد Prompt Tuning و In-Context Learning به شکل قابل‌توجهی برای وظایف NLP پزشکی مؤثر هستند. این روش‌ها توانستند با هزینه محاسباتی بسیار کمتر نسبت به fine-tuning کامل، به دقت‌های بالایی دست یابند.
• تکنیک‌های موفق در Prompt Tuning: تیم‌های پیشرو در مسیر اول، از استراتژی‌های پیشرفته‌ای برای تنظیم اعلان استفاده کردند. این استراتژی‌ها شامل ترکیب روش‌های مختلف تنظیم پارامتر-کارآمد (مانند LoRA و P-Tuning v2) و طراحی اعلان‌های چندبخشی (multi-part prompts) بود که به مدل اجازه می‌داد وظایف پیچیده را به مراحل ساده‌تر تقسیم کند.
• اهمیت مهندسی اعلان در ICL: در مسیر دوم، مشخص شد که عملکرد مدل‌های بزرگ به شدت به کیفیت اعلان ورودی وابسته است. تیم‌های موفق از تکنیک‌هایی مانند زنجیره تفکر (Chain-of-Thought) برای وادار کردن مدل به استدلال گام‌به‌گام و انتخاب هوشمندانه مثال‌ها برای قرار دادن در اعلان (demonstration selection) بهره بردند.
• مقایسه مدل‌های منبع‌باز: این رقابت بستری برای مقایسه مستقیم عملکرد مدل‌های زبانی بزرگ چینی مانند ChatGLM، Baichuan و Qwen در یک دامنه تخصصی فراهم آورد. نتایج نشان داد که اگرچه همه این مدل‌ها توانمند هستند، اما برخی از آن‌ها در وظایف استدلالی و درک مفاهیم پزشکی پیچیده عملکرد بهتری از خود نشان دادند.
• چالش‌های باقی‌مانده: با وجود موفقیت‌ها، مقاله به چالش‌هایی مانند تمایل مدل‌ها به تولید اطلاعات نادرست یا «توهم» (Hallucination) و همچنین دشواری در درک عبارات بسیار تخصصی و نادر پزشکی اشاره می‌کند که زمینه‌هایی برای تحقیقات آینده هستند.

رقابت PromptCBLUE و مقاله مروری آن دستاوردهای علمی و کاربردی مهمی به همراه داشته است:

کاربردهای عملی:

• پشتیبانی از تصمیم‌گیری بالینی: مدل‌های آموزش‌دیده با این روش‌ها می‌توانند به پزشکان در تحلیل سریع گزارش‌های پزشکی، استخراج اطلاعات کلیدی و پیشنهاد تشخیص‌های احتمالی کمک کنند.
• خلاصه‌سازی و تولید خودکار گزارش: این فناوری می‌تواند فرآیند مستندسازی پزشکی را با خلاصه‌سازی مکالمات پزشک و بیمار یا تولید پیش‌نویس گزارش‌های رادیولوژی تسریع کند.
• سیستم‌های پرسش و پاسخ پزشکی: توسعه چت‌بات‌های هوشمند برای پاسخ به سوالات بیماران یا ارائه اطلاعات معتبر پزشکی به متخصصان سلامت، از دیگر کاربردهای مستقیم این پژوهش است.
• بهبود پژوهش‌های پزشکی: این مدل‌ها می‌توانند به محققان در جستجو و تحلیل حجم عظیمی از مقالات علمی برای یافتن ارتباطات جدید بین ژن‌ها، بیماری‌ها و داروها کمک کنند.

دستاوردها برای جامعه علمی:

• ارائه یک معیار مدرن: PromptCBLUE به عنوان یک معیار استاندارد و چالش‌برانگیز، به جامعه پژوهشی کمک می‌کند تا پیشرفت مدل‌های زبانی را به طور مداوم و در یک بستر یکسان اندازه‌گیری کنند.
• تأیید اثربخشی پارادایم‌های جدید: این رقابت به طور عملی نشان داد که روش‌های مبتنی بر اعلان، جایگزین‌های کارآمد و قدرتمندی برای روش‌های سنتی آموزش مدل در دامنه‌های تخصصی هستند.
• ترویج همکاری و نوآوری: برگزاری چنین رویدادهایی باعث به اشتراک‌گذاری دانش، ایده‌ها و راهکارهای نوین بین صنعت و دانشگاه شده و سرعت پیشرفت در کل حوزه هوش مصنوعی پزشکی را افزایش می‌دهد.

مقاله «Overview of the PromptCBLUE Shared Task in CHIP2023» صرفاً یک گزارش از یک رقابت نیست، بلکه سندی مهم است که وضعیت فعلی و مسیر آینده‌ی کاربرد مدل‌های زبانی بزرگ در حوزه حیاتی پزشکی را ترسیم می‌کند. این مقاله با معرفی معیار PromptCBLUE، یک چارچوب ارزیابی مدرن و متناسب با قابلیت‌های LLMهای امروزی ارائه داد. نتایج رقابت به وضوح نشان داد که پارادایم‌های یادگیری مبتنی بر اعلان، مانند Prompt Tuning و In-Context Learning، پتانسیل عظیمی برای حل مسائل پیچیده در پردازش زبان طبیعی پزشکی دارند.

این پژوهش با گردآوری و تحلیل راهکارهای برتر، نقشه راهی برای توسعه‌دهندگان و محققان فراهم می‌کند تا بتوانند مدل‌های دقیق‌تر، کارآمدتر و قابل اعتمادتری برای کاربردهای بالینی بسازند. با این حال، چالش‌هایی مانند اطمینان از صحت اطلاعات و مقابله با خطاهای مدل همچنان پابرجا هستند و نیازمند تحقیقات بیشتر می‌باشند. در نهایت، این کار یک گام مهم رو به جلو در جهت تحقق سیستم‌های هوشمند پزشکی است که می‌توانند به بهبود کیفیت مراقبت‌های بهداشتی و تسریع اکتشافات علمی کمک کنند.