در عصر حاضر، استفاده از یادگیری ماشین در حوزه‌ی پزشکی به طور چشمگیری افزایش یافته است. سیستم‌هایی که از این فناوری بهره می‌برند، در تشخیص بیماری‌ها، پیش‌بینی روند درمان و مدیریت اطلاعات پزشکی نقش مهمی ایفا می‌کنند. اما اعتماد به این سیستم‌ها نیازمند اطمینان از دقت و قابلیت اتکای آن‌هاست، به‌ویژه زمانی که از داده‌های برچسب‌گذاری شده به صورت خودکار (خود-نظارتی) برای آموزش استفاده می‌شود. مقاله‌ی حاضر به بررسی چگونگی ارزیابی و بهبود دقت این سیستم‌ها در زمینه‌ی پردازش زبان طبیعی پزشکی (Clinical NLP) می‌پردازد.

این مقاله توسط هونگشو لیو، نبیل سیدات و جولیا ایو به رشته تحریر درآمده است. تخصص این محققان در زمینه‌های یادگیری ماشین، پردازش زبان طبیعی و کاربرد آن‌ها در حوزه‌ی پزشکی است. تمرکز اصلی آن‌ها بر توسعه‌ی مدل‌هایی است که قادر به تخمین دقیق عدم قطعیت در پیش‌بینی‌های خود هستند. این امر به‌ویژه در محیط‌های پزشکی که تصمیم‌گیری‌های حیاتی بر اساس این پیش‌بینی‌ها صورت می‌گیرد، از اهمیت بالایی برخوردار است.

چکیده‌ی مقاله بر اهمیت تخمین عدم قطعیت در مدل‌های محاسباتی که در زمینه‌ی مراقبت‌های بهداشتی استفاده می‌شوند، تاکید دارد. بسیاری از سیستم‌های پیشرفته‌ی امروزی با استفاده از داده‌هایی آموزش داده می‌شوند که به طور خودکار برچسب‌گذاری شده‌اند. این امر می‌تواند منجر به بیش‌برازش (Overfitting) شود، به این معنی که مدل به خوبی روی داده‌های آموزشی عمل می‌کند، اما در مواجهه با داده‌های جدید عملکرد ضعیفی از خود نشان می‌دهد.

این مقاله به بررسی کیفیت تخمین‌های عدم قطعیت در مدل‌های پیش‌بینی‌کننده‌ی مدرن که در تشخیص مشاهدات در گزارش‌های رادیولوژی به کار می‌روند، می‌پردازد. این مسئله در زمینه‌ی پردازش زبان طبیعی پزشکی کمتر مورد توجه قرار گرفته است. نویسندگان نشان داده‌اند که فرایندهای گاوسی (Gaussian Processes – GPs) عملکرد بهتری در سنجش خطرات مرتبط با سه نوع برچسب عدم قطعیت، بر اساس معیار احتمال منفی لگاریتمی پیش‌بینی (Negative Log Predictive Probability – NLPP) و میانگین حداکثر سطوح اطمینان پیش‌بینی‌شده (Mean Maximum Predicted Confidence Levels – MMPCL) ارائه می‌دهند، در حالی که عملکرد پیش‌بینی خود را نیز حفظ می‌کنند.

روش‌شناسی این تحقیق شامل مراحل زیر است:

• انتخاب مجموعه داده: مجموعه داده‌ای از گزارش‌های رادیولوژی پزشکی انتخاب شد. این گزارش‌ها حاوی اطلاعات متنی هستند که باید از آن‌ها برای تشخیص مشاهدات خاص استفاده شود. برای مثال، تشخیص وجود یا عدم وجود یک تومور در یک تصویر رادیولوژی.
• برچسب‌گذاری خودکار داده‌ها: از روش‌های خود-نظارتی برای برچسب‌گذاری خودکار داده‌ها استفاده شد. این روش‌ها ممکن است شامل استفاده از الگوریتم‌هایی باشد که به طور خودکار الگوها را در داده‌ها تشخیص می‌دهند و بر اساس آن‌ها برچسب‌گذاری می‌کنند.
• آموزش مدل‌های پیش‌بینی‌کننده: انواع مختلفی از مدل‌های پیش‌بینی‌کننده، از جمله شبکه‌های عصبی عمیق و فرایندهای گاوسی، با استفاده از داده‌های برچسب‌گذاری شده آموزش داده شدند.
• ارزیابی تخمین‌های عدم قطعیت: کیفیت تخمین‌های عدم قطعیت ارائه شده توسط مدل‌ها با استفاده از معیارهای NLPP و MMPCL ارزیابی شد. این معیارها به ارزیابی میزان دقت و قابلیت اتکای تخمین‌های عدم قطعیت کمک می‌کنند.
• مقایسه عملکرد مدل‌ها: عملکرد مدل‌های مختلف در تخمین عدم قطعیت و همچنین در پیش‌بینی مشاهدات با یکدیگر مقایسه شد.

به طور خاص، استفاده از فرایندهای گاوسی (GPs) به عنوان یک روش کلیدی مورد بررسی قرار گرفته است. GPها به دلیل توانایی‌شان در ارائه تخمین‌های عدم قطعیت به خوبی شناخته شده‌اند. آنها می‌توانند نه تنها پیش‌بینی‌ها، بلکه میزان اطمینان خود از این پیش‌بینی‌ها را نیز ارائه دهند. این ویژگی در زمینه‌ی پزشکی، جایی که تصمیم‌گیری‌ها بر اساس اطلاعات ناقص صورت می‌گیرد، بسیار ارزشمند است.

برای مثال، فرض کنید یک مدل در حال تشخیص وجود یک ناهنجاری در تصویر رادیولوژی است. اگر مدل با اطمینان بالایی وجود ناهنجاری را تشخیص دهد، پزشک می‌تواند به سرعت اقدامات لازم را انجام دهد. اما اگر مدل عدم قطعیت بالایی داشته باشد، پزشک باید بررسی‌های بیشتری انجام دهد تا از تشخیص صحیح اطمینان حاصل کند.

نتایج این تحقیق نشان داد که فرایندهای گاوسی (GPs) در مقایسه با سایر مدل‌های پیش‌بینی‌کننده، عملکرد بهتری در تخمین عدم قطعیت ارائه می‌دهند. به طور خاص، GPs توانستند خطرات مرتبط با برچسب‌های عدم قطعیت را به طور دقیق‌تری ارزیابی کنند. این امر به این معنی است که GPs می‌توانند به پزشکان در تصمیم‌گیری‌های آگاهانه‌تر و کاهش خطرات احتمالی کمک کنند.

یکی از یافته‌های مهم این تحقیق، این است که NLPP و MMPCL به عنوان معیارهای ارزیابی عدم قطعیت، عملکرد خوبی از خود نشان دادند و می‌توانند به عنوان ابزاری موثر برای ارزیابی کیفیت مدل‌های پیش‌بینی‌کننده در زمینه‌ی پردازش زبان طبیعی پزشکی مورد استفاده قرار گیرند.

نتایج این تحقیق می‌تواند در زمینه‌های مختلفی کاربرد داشته باشد:

• بهبود دقت سیستم‌های تشخیص بیماری: با استفاده از مدل‌هایی که تخمین‌های عدم قطعیت دقیقی ارائه می‌دهند، می‌توان دقت سیستم‌های تشخیص بیماری را بهبود بخشید.
• کاهش خطرات در تصمیم‌گیری‌های پزشکی: تخمین‌های عدم قطعیت می‌توانند به پزشکان در تصمیم‌گیری‌های آگاهانه‌تر و کاهش خطرات احتمالی کمک کنند.
• توسعه‌ی سیستم‌های پشتیبانی از تصمیم‌گیری پزشکی: می‌توان از این نتایج برای توسعه‌ی سیستم‌های پشتیبانی از تصمیم‌گیری پزشکی (Clinical Decision Support Systems – CDSS) استفاده کرد که به پزشکان در تشخیص بیماری‌ها و انتخاب روش‌های درمانی مناسب کمک می‌کنند.
• بهینه‌سازی فرآیند برچسب‌گذاری داده‌ها: با درک بهتر از چگونگی تاثیر برچسب‌گذاری خودکار داده‌ها بر دقت مدل‌ها، می‌توان فرآیند برچسب‌گذاری داده‌ها را بهینه‌سازی کرد.

به طور کلی، این تحقیق گامی مهم در جهت توسعه‌ی مدل‌های یادگیری ماشین قابل اعتمادتر و ایمن‌تر در زمینه‌ی پزشکی است.

این مقاله با بررسی مدل‌سازی اختلاف نظر در برچسب‌گذاری خودکار داده‌ها برای یادگیری نیمه‌نظارتی در پردازش زبان طبیعی پزشکی، به اهمیت ارزیابی و بهبود دقت مدل‌های پیش‌بینی‌کننده در زمینه‌ی مراقبت‌های بهداشتی پرداخته است. نتایج این تحقیق نشان می‌دهد که فرایندهای گاوسی (GPs) می‌توانند در تخمین عدم قطعیت عملکرد بهتری نسبت به سایر مدل‌ها داشته باشند و معیارهای NLPP و MMPCL می‌توانند به عنوان ابزاری موثر برای ارزیابی کیفیت این مدل‌ها مورد استفاده قرار گیرند.

با توجه به اهمیت روزافزون استفاده از یادگیری ماشین در زمینه‌ی پزشکی، توسعه‌ی مدل‌های قابل اعتماد و ایمن که قادر به ارائه تخمین‌های عدم قطعیت دقیق هستند، از اهمیت بالایی برخوردار است. این تحقیق گامی مهم در این راستا محسوب می‌شود و می‌تواند به بهبود کیفیت مراقبت‌های بهداشتی و کاهش خطرات احتمالی کمک کند. تحقیقات آتی می‌تواند بر توسعه‌ی روش‌های جدید برای تخمین عدم قطعیت، بررسی تاثیر انواع مختلف روش‌های برچسب‌گذاری خودکار داده‌ها و ارزیابی عملکرد مدل‌ها در شرایط بالینی واقعی تمرکز کند.