۱. معرفی مقاله و اهمیت آن

در حوزه پردازش زبان طبیعی (NLP)، بهینه‌سازی و تنظیم دقیق (fine-tuning) مدل‌های زبانی ازپیش‌آموزش‌دیده (Pre-trained Language Models – PLMs) بر روی داده‌های عمومی یا خاص دامنه، برای وظایف مشخص با منابع محدود، به امری رایج تبدیل شده است. این رویکرد، به‌ویژه در مواجهه با حجم عظیم داده‌های متنی در حوزه‌های تخصصی مانند پزشکی و بالینی، که برچسب‌گذاری دستی آن‌ها بسیار پرهزینه و زمان‌بر است، جذابیت زیادی پیدا کرده است. با این حال، ادعای کارایی این مدل‌ها بدون چالش نبوده و در برخی موارد، آموزش مدل‌های ساده‌تر از ابتدا نیز می‌تواند نتایج قابل قبولی ارائه دهد.

مقاله حاضر با عنوان «بررسی ارزش مدل‌های زبانی ازپیش‌آموزش‌دیده در بازشناسی موجودیت‌های نام‌دار بالینی» (Exploring the Value of Pre-trained Language Models for Clinical Named Entity Recognition) به این موضوع پرداخته و با انجام تحقیقاتی عمیق، ارزش واقعی PLMهای تنظیم‌شده را در زمینه NLP بالینی، به طور خاص در وظیفه بازشناسی موجودیت‌های نام‌دار (Named Entity Recognition – NER) مرتبط با داروها و ویژگی‌های آن‌ها، مورد ارزیابی قرار می‌دهد. هدف اصلی این پژوهش، مقایسه عملکرد مدل‌های زبانی مدرن با روش‌های سنتی‌تر و تعیین اینکه آیا سرمایه‌گذاری بر روی مدل‌های ازپیش‌آموزش‌دیده، لزوماً مزیت قابل توجهی نسبت به آموزش مدل‌های ساده‌تر از ابتدا، در این دامنه تخصصی ایجاد می‌کند یا خیر، می‌باشد.

۲. نویسندگان و زمینه تحقیق

این پژوهش توسط تیمی متشکل از پژوهشگران برجسته انجام شده است: Samuel Belkadi، Lifeng Han، Yuping Wu و Goran Nenadic. این مقاله در دسته‌بندی‌های «محاسبات و زبان» (Computation and Language)، «هوش مصنوعی» (Artificial Intelligence) و «یادگیری ماشین» (Machine Learning) قرار می‌گیرد که نشان‌دهنده ماهیت بین‌رشته‌ای و پیشگامانه تحقیق است.

زمینه تحقیق این مقاله، حوزه پردازش زبان طبیعی بالینی (Clinical NLP) است. این حوزه با چالش‌های منحصربه‌فردی روبرو است؛ متون بالینی اغلب مملو از اصطلاحات تخصصی، اختصارات، خطاهای املایی ناشی از دیکته صوتی و ساختارهای پیچیده جملات هستند. در این میان، وظیفه بازشناسی موجودیت‌های نام‌دار (NER)، که هدف آن شناسایی و دسته‌بندی موجودیت‌های کلیدی مانند داروها، بیماری‌ها، علائم، آزمایش‌ها و دوزهای دارویی در متن است، نقشی حیاتی در استخراج اطلاعات دقیق از پرونده‌های پزشکی الکترونیکی، مقالات تحقیقاتی و سایر اسناد بالینی ایفا می‌کند. دقت در این وظیفه می‌تواند تأثیر مستقیمی بر تشخیص صحیح، تجویز دارو، و پیشرفت تحقیقات پزشکی داشته باشد.

۳. چکیده و خلاصه محتوا

در چکیده این مقاله، پژوهشگران به بررسی رایج‌ترین روش در NLP مدرن، یعنی تنظیم دقیق مدل‌های زبانی ازپیش‌آموزش‌دیده (PLMs)، بر روی وظایف خاص با منابع داده محدود می‌پردازند. آن‌ها این فرض را مورد بازبینی قرار داده و یک تحقیق جامع در حوزه NLP بالینی، با تمرکز بر وظیفه NER بر روی داروها و ویژگی‌های مرتبط با آن‌ها، انجام می‌دهند.

خلاصه محتوا بدین شرح است:

• هدف اصلی: مقایسه مدل‌های Transformer که از ابتدا آموزش داده شده‌اند، با مدل‌های ازپیش‌آموزش‌دیده مبتنی بر BERT (شامل BERT، BioBERT و ClinicalBERT) که تنظیم دقیق شده‌اند.
• نوآوری روش‌شناختی: بررسی تأثیر اضافه کردن یک لایه CRF (Conditional Random Field) به این مدل‌ها برای تقویت یادگیری زمینه‌ای.
• داده‌ها: استفاده از داده‌های مجموعه مسابقه n2c2-2018 (چالش مشترک تشخیص اطلاعات بالینی) برای توسعه و ارزیابی مدل‌ها.
• یافته‌های کلیدی: ارائه نتایج تجربی که نشان می‌دهد اضافه کردن لایه CRF به بهبود عملکرد تمامی مدل‌های زبانی کمک می‌کند.
• مقایسه عملکرد: نشان دادن اینکه مدل‌های تنظیم‌شده LLM امتیازات بالایی (۰.۸۳+) در ارزیابی سطح مقطع BIO-strict با استفاده از امتیاز F1 میانگین کلان (macro-average) کسب می‌کنند، در حالی که مدل TransformerCRF که از ابتدا آموزش داده شده، به امتیاز ۰.۷۸+ دست یافته و عملکردی قابل مقایسه با هزینه بسیار کمتر (۳۹.۸۰٪ پارامترهای آموزشی کمتر) ارائه می‌دهد.
• تحلیل جزئی‌تر: در ارزیابی سطح مقطع BIO-strict با استفاده از امتیاز F1 میانگین وزنی (weighted-average F1 score)، مدل‌های ClinicalBERT-CRF، BERT-CRF و TransformerCRF تفاوت امتیازات کمتری را نشان می‌دهند (۹۷.۵۹٪ / ۹۷.۴۴٪ / ۹۶.۸۴٪ به ترتیب)، که مؤید رقابت‌پذیری مدل آموزش‌دیده از ابتدا است.
• بهینه‌سازی هزینه: اثبات اینکه با استفاده از روش‌های آموزش کارآمد مانند نمونه‌برداری کاهشی (down-sampling) برای توزیع بهتر داده‌ها، هزینه آموزش و نیاز به داده به طور قابل توجهی کاهش می‌یابد، در حالی که امتیازات عملکردی مشابهی (فقط حدود ۰.۰۲ امتیاز کمتر) نسبت به استفاده از کل مجموعه داده حفظ می‌شود.
• دسترسی مدل‌ها: اعلام آمادگی برای میزبانی مدل‌ها در مخزن گیت‌هاب (https://github.com/HECTA-UoM/TransformerCRF) جهت استفاده پژوهشگران دیگر.

۴. روش‌شناسی تحقیق

این پژوهش با رویکردی مقایسه‌ای و تجربی انجام شده است. روش‌شناسی به کار رفته به شرح زیر است:

• انتخاب مدل‌ها:
  • مدل‌های آموزش‌دیده از ابتدا (Trained from scratch): یک مدل Transformer پایه که بدون استفاده از دانش قبلی، مستقیماً بر روی داده‌های بالینی آموزش داده شده است.
  • مدل‌های ازپیش‌آموزش‌دیده تنظیم‌شده (Fine-tuned PLMs):
    • BERT (Base): مدل عمومی BERT که برای دامنه بالینی تنظیم شده است.
    • BioBERT: مدلی که بر روی حجم عظیمی از متون بیومدیکال ازپیش‌آموزش‌دیده و سپس برای وظیفه بالینی تنظیم شده است.
    • ClinicalBERT: مدلی که به طور خاص بر روی داده‌های بالینی ازپیش‌آموزش‌دیده و سپس تنظیم شده است.
• تقویت مدل‌ها با لایه CRF: برای تمامی مدل‌های فوق (چه آن‌هایی که از ابتدا آموزش دیده‌اند و چه PLMهای تنظیم‌شده)، یک لایه Conditional Random Field (CRF) به خروجی مدل اضافه شده است. لایه CRF به طور مؤثری وابستگی‌های بین برچسب‌های متوالی را مدل‌سازی می‌کند و به حل ابهاماتی که ممکن است مدل‌های مبتنی بر شبکه‌های عصبی صرف در آن‌ها دچار مشکل شوند، کمک می‌کند. این امر به‌ویژه در NER که ترتیب برچسب‌ها (مانند شروع یک موجودیت B-DRUG و ادامه آن I-DRUG) اهمیت دارد، بسیار مفید است.
• مجموعه داده: داده‌های مورد استفاده از مجموعه مسابقه n2c2-2018 (2018 Clinical Natural Language Processing Shared Task) استخراج شده‌اند. این مجموعه داده شامل گزارش‌های بالینی است که برای وظیفه NER (شناسایی داروها، دوزها، شکل دارویی، دفعات مصرف و دوره درمان) حاشیه‌نویسی شده‌اند.
• فرآیند ارزیابی:
  • سطح ارزیابی: ارزیابی در سطح مقطع (span-level) و با استفاده از استاندارد BIO-strict انجام شده است. در این روش، دقیقاً یک مقطع کامل از کلمات باید با برچسب صحیح مطابقت داشته باشد تا به عنوان یک شناسایی صحیح تلقی شود.
  • معیارهای عملکرد: از دو معیار کلیدی استفاده شده است:
    • امتیاز F1 میانگین کلان (Macro-average F1 score): این معیار به طور مساوی به همه کلاس‌ها وزن می‌دهد و برای ارزیابی زمانی مناسب است که عدم تعادل کلاس‌ها وجود داشته باشد.
    • امتیاز F1 میانگین وزنی (Weighted-average F1 score): این معیار با توجه به تعداد نمونه‌های هر کلاس، به کلاس‌های پرتعدادتر وزن بیشتری می‌دهد.
• بهینه‌سازی داده: برای بررسی رویکردهای کارآمدتر، از روش نمونه‌برداری کاهشی (down-sampling) استفاده شده است. این روش با کاهش تعداد نمونه‌های کلاس‌های پرتعدادتر (یا افزایش نمونه‌های کلاس‌های کمتر)، به توزیع داده‌ها کمک کرده و فرآیند آموزش را بهینه‌تر می‌کند، بدون اینکه افت قابل توجهی در دقت مدل رخ دهد.

۵. یافته‌های کلیدی

نتایج تجربی این تحقیق، بینش‌های ارزشمندی را در خصوص عملکرد مدل‌های زبانی در NER بالینی ارائه می‌دهند:

• تأثیر مثبت لایه CRF: یکی از مهم‌ترین یافته‌ها این است که اضافه کردن لایه CRF بهبود قابل توجهی در عملکرد تمامی مدل‌های زبانی مورد بررسی (اعم از مدل‌های آموزش‌دیده از ابتدا و PLMهای تنظیم‌شده) ایجاد کرده است. این نشان می‌دهد که مدل‌سازی صریح وابستگی‌های ترتیبی، حتی در مدل‌های پیشرفته، همچنان نقش مهمی در افزایش دقت NER بالینی ایفا می‌کند.
• رقابت‌پذیری مدل آموزش‌دیده از ابتدا: در ارزیابی سطح مقطع BIO-strict با استفاده از امتیاز F1 میانگین کلان، مدل‌های تنظیم‌شده LLM مانند ClinicalBERT و BioBERT امتیازات بالاتری (بالاتر از ۰.۸۳) کسب کرده‌اند. اما نکته قابل توجه این است که مدل TransformerCRF که از ابتدا آموزش دیده بود، به امتیاز ۰.۷۸+ دست یافته است. این امتیاز، هرچند کمی پایین‌تر، اما بسیار نزدیک به عملکرد مدل‌های بسیار بزرگ‌تر و پرهزینه‌تر است. جالب‌تر اینکه، این مدل (TransformerCRF) دارای ۳۹.۸۰٪ پارامتر آموزشی کمتر نسبت به مدل‌های تنظیم‌شده LLM است، که نشان‌دهنده کارایی بالای آن از نظر محاسباتی است.
• تحلیل میانگین وزنی F1: هنگام استفاده از امتیاز F1 میانگین وزنی (که به کلاس‌های پرتعدادتر اهمیت بیشتری می‌دهد)، تفاوت عملکرد بین مدل‌های پیشرو کمتر می‌شود. در این ارزیابی، مدل‌های ClinicalBERT-CRF، BERT-CRF و TransformerCRF نتایج بسیار نزدیکی را نشان دادند، به ترتیب با امتیازات ۹۷.۵۹٪، ۹۷.۴۴٪ و ۹۶.۸۴٪. این نتایج به طور قوی حمایت می‌کنند که مدل TransformerCRF آموزش‌دیده از ابتدا، می‌تواند جایگزینی کارآمد و مقرون‌به‌صرفه برای مدل‌های بزرگ‌تر و تنظیم‌شده باشد، به خصوص در سناریوهایی که محدودیت منابع محاسباتی وجود دارد.
• کارایی با نمونه‌برداری کاهشی: پژوهشگران همچنین نشان دادند که اعمال تکنیک‌های آموزش کارآمد مانند نمونه‌برداری کاهشی (down-sampling) می‌تواند به طور قابل توجهی هزینه آموزش و نیاز به داده را کاهش دهد. با این روش، مدل‌ها توانستند امتیازات عملکردی مشابهی را حفظ کنند، تنها با افت ناچیز حدود ۰.۰۲ امتیاز نسبت به استفاده از کل مجموعه داده. این یافته برای کاربردهایی که دسترسی به داده‌های برچسب‌دار بالینی محدود است، بسیار مهم است.

نکات برجسته:

• لایه CRF یک جزء کلیدی برای بهبود عملکرد در NER بالینی است.
• مدل‌های Transformer که از ابتدا آموزش دیده‌اند، می‌توانند با هزینه محاسباتی بسیار کمتر، عملکردی رقابتی با PLMهای تنظیم‌شده ارائه دهند.
• تکنیک‌های نمونه‌برداری هوشمندانه داده می‌توانند نیاز به داده و هزینه آموزش را به طور مؤثر کاهش دهند.

۶. کاربردها و دستاوردها

یافته‌های این تحقیق دارای پیامدهای عملی و دستاوردهای مهمی برای حوزه پردازش زبان طبیعی بالینی و کاربردهای آن است:

• توسعه سیستم‌های استخراج اطلاعات پزشکی کارآمد: این تحقیق راه را برای ساخت سیستم‌های NER بالینی با هزینه کمتر و نیاز به منابع محاسباتی کمتر هموار می‌کند. این امر به ویژه برای مؤسسات تحقیقاتی کوچک‌تر یا پزشکان مستقل که ممکن است دسترسی محدودی به سخت‌افزار پیشرفته یا بودجه کلان نداشته باشند، بسیار حائز اهمیت است.
• بهینه‌سازی پرونده‌های پزشکی الکترونیکی (EHR): با بهبود دقت و کارایی مدل‌های NER، امکان پردازش خودکار و استخراج اطلاعات کلیدی از حجم عظیم داده‌های موجود در EHRها فراهم می‌شود. این اطلاعات می‌توانند برای تجزیه و تحلیل داده‌های بیماران، پیش‌بینی روند بیماری، و پشتیبانی از تصمیم‌گیری بالینی مورد استفاده قرار گیرند.
• تسریع تحقیقات دارویی: شناسایی دقیق داروها، دوزها و سایر پارامترهای مرتبط با درمان در متون علمی و بالینی، به محققان کمک می‌کند تا دانش خود را در مورد اثربخشی داروها، عوارض جانبی و نحوه تجویز بهینه، سریع‌تر توسعه دهند.
• کاهش وابستگی به مدل‌های بزرگ و پرهزینه: این مقاله نشان می‌دهد که لزوماً همیشه نیاز به استفاده از بزرگترین و پیچیده‌ترین مدل‌ها نیست. با طراحی معماری مناسب (مانند ترکیب Transformer با CRF) و استفاده از تکنیک‌های بهینه‌سازی داده، می‌توان به نتایج مشابهی دست یافت. این موضوع می‌تواند منجر به کاهش انتشار کربن ناشی از محاسبات سنگین نیز شود.
• ارائه ابزار و مدل‌های قابل دسترس: تعهد نویسندگان به اشتراک‌گذاری مدل‌ها در گیت‌هاب، یک دستاورد مهم دیگر است. این اقدام، دسترسی محققان دیگر را به این ابزارها تسهیل کرده و امکان بازتولید نتایج و توسعه بیشتر بر روی آن‌ها را فراهم می‌آورد.
• بینش‌های جدید برای انتخاب مدل: این تحقیق به جامعه علمی کمک می‌کند تا درک بهتری از زمان و مکان استفاده از PLMهای تنظیم‌شده در مقابل مدل‌های آموزش‌دیده از ابتدا در دامنه‌های تخصصی داشته باشند.

۷. نتیجه‌گیری

مقاله «بررسی ارزش مدل‌های زبانی ازپیش‌آموزش‌دیده در بازشناسی موجودیت‌های نام‌دار بالینی» با ارائه یک تحلیل جامع و تجربی، نشان می‌دهد که در حوزه NER بالینی، مدل‌های زبانی ازپیش‌آموزش‌دیده (PLMs) تنظیم‌شده، در حالی که عملکرد بسیار خوبی از خود نشان می‌دهند، تنها گزینه برتر نیستند. یافته کلیدی این پژوهش این است که یک مدل TransformerCRF که از ابتدا آموزش داده شده است، می‌تواند با هزینه محاسباتی و پارامترهای آموزشی به مراتب کمتر، به عملکردی نزدیک و در برخی معیارهای کلیدی، کاملاً رقابتی دست یابد.

تاکید بر افزودن لایه CRF به عنوان یک جزء مهم برای افزایش دقت در تمامی معماری‌های مورد بررسی، و همچنین اثربخشی روش‌های نمونه‌برداری هوشمندانه برای کاهش نیاز به داده و هزینه آموزش، از دیگر دستاوردهای مهم این تحقیق است. این یافته‌ها به توسعه‌کنندگان سیستم‌های NLP بالینی کمک می‌کند تا با در نظر گرفتن محدودیت‌های منابع، مدل‌هایی را انتخاب کنند که تعادلی مطلوب بین دقت، کارایی و هزینه را فراهم آورند.

در نهایت، این مقاله بر اهمیت رویکردهای نوآورانه و سنجش دقیق ارزش واقعی فناوری‌های پیشرفته در حوزه‌های تخصصی، فراتر از صرف پیروی از روندهای رایج، تأکید می‌کند و با ارائه مدل‌های قابل دسترس، سهم قابل توجهی در پیشبرد تحقیقات آتی در پردازش زبان طبیعی بالینی ایفا می‌نماید.