در دنیای امروز، حجم عظیمی از داده‌های متنی در حوزه سلامت تولید می‌شود. این داده‌ها، شامل گزارش‌های پزشکی، خلاصه‌های بستری، و پرونده‌های الکترونیکی سلامت (EHR) است. برای مدیریت و تحلیل این داده‌ها، نیاز به یک سیستم طبقه‌بندی دقیق و کارآمد وجود دارد. کدگذاری بیماری‌ها بر اساس طبقه‌بندی بین‌المللی بیماری‌ها (ICD) نقش حیاتی در این زمینه ایفا می‌کند. ICD یک سیستم استاندارد برای طبقه‌بندی بیماری‌ها و مشکلات مرتبط با سلامت است که توسط سازمان بهداشت جهانی (WHO) توسعه یافته است. استفاده از این سیستم، امکان مقایسه و تحلیل داده‌های سلامت در سطح بین‌المللی را فراهم می‌کند.

با این حال، کدگذاری ICD به صورت دستی، فرآیندی زمان‌بر، پرهزینه و مستعد خطا است. از این رو، توسعه روش‌های خودکار برای کدگذاری ICD، از اهمیت ویژه‌ای برخوردار است. این روش‌ها می‌توانند به کاهش هزینه‌ها، افزایش سرعت و دقت کدگذاری، و بهبود کیفیت تحلیل داده‌های سلامت کمک کنند. این مقاله به بررسی استفاده از مدل‌های مبتنی بر ترنسفورمر برای کدگذاری خودکار ICD می‌پردازد و دستاوردهای جدیدی را در این زمینه ارائه می‌دهد.

مقاله حاضر توسط لیبو لیو، اسکار پرز-کنچا، آنتونی نگوین، ویکی بنت و لوئیزا جورم به رشته تحریر درآمده است. این محققان در زمینه پردازش زبان طبیعی (NLP) و کاربرد آن در حوزه سلامت تخصص دارند. تخصص آن‌ها در توسعه مدل‌های یادگیری ماشین برای تحلیل داده‌های متنی و خودکارسازی فرآیندهای بالینی است.

این تحقیق در حوزه محاسبات و زبان (Computation and Language) طبقه‌بندی می‌شود و هدف آن، استفاده از جدیدترین پیشرفت‌ها در زمینه مدل‌های زبانی برای حل چالش‌های موجود در کدگذاری ICD است. انگیزه اصلی این تحقیق، بهبود کارایی و دقت فرآیند کدگذاری ICD و کمک به پزشکان و متخصصان سلامت در مدیریت بهتر داده‌های بیماران است.

این مقاله به بررسی استفاده از مدل‌های مبتنی بر معماری ترنسفورمر برای کدگذاری خودکار بیماری‌ها بر اساس طبقه‌بندی بین‌المللی بیماری‌ها (ICD) می‌پردازد. با توجه به موفقیت مدل‌های ترنسفورمر در بسیاری از وظایف پردازش زبان طبیعی، استفاده از آن‌ها برای کدگذاری ICD نیز مورد توجه قرار گرفته است. چالش اصلی در این زمینه، وجود مجموعه برچسب‌های بسیار بزرگ و طولانی بودن متن‌های پزشکی است که مدل‌ها باید آن‌ها را پردازش کنند. به این نوع مسائل، طبقه‌بندی چندبرچسبی مفرط متون طولانی گفته می‌شود.

در این تحقیق، سه نوع مدل مبتنی بر ترنسفورمر مورد بررسی قرار گرفته‌اند: مدل PLM-ICD به عنوان مدل پایه (Baseline)، مدل XR-Transformer که در طبقه‌بندی چندبرچسبی مفرط عملکرد خوبی نشان داده است، و مدل XR-LAT که یک مدل جدید و اقتباس یافته از XR-Transformer است. این مدل‌ها بر روی مجموعه داده MIMIC-III آموزش داده شده‌اند، که یک مجموعه داده استاندارد برای ارزیابی مدل‌های کدگذاری ICD است.

نتایج نشان می‌دهد که مدل PLM-ICD بهینه‌سازی شده، با استفاده از طول توالی و قطعه‌بندی طولانی‌تر، عملکرد بهتری نسبت به مدل PLM-ICD اصلی دارد و به بالاترین امتیاز Micro-F1 برابر با 60.8٪ دست یافته است. مدل XR-Transformer، اگرچه در دامنه کلی عملکرد خوبی دارد، در این وظیفه عملکرد ضعیف‌تری داشته است. مدل XR-LAT توانسته است نتایجی رقابتی با مدل PLM-ICD ارائه دهد و حتی در برخی معیارها مانند Macro-AUC، بهبودهایی را نشان دهد.

در این تحقیق، از روش‌های متنوعی برای آموزش و ارزیابی مدل‌ها استفاده شده است. این روش‌ها عبارتند از:

• انتخاب مدل پایه: مدل PLM-ICD به دلیل عملکرد خوب آن در مجموعه داده MIMIC-III به عنوان مدل پایه انتخاب شد.
• بهینه‌سازی مدل پایه: مدل PLM-ICD با استفاده از طول توالی و قطعه‌بندی طولانی‌تر، بهینه‌سازی شد. این کار به مدل اجازه می‌دهد تا اطلاعات بیشتری را از متن‌های طولانی پزشکی استخراج کند.
• استفاده از مدل‌های پیشرفته: مدل‌های XR-Transformer و XR-LAT، که در طبقه‌بندی چندبرچسبی مفرط عملکرد خوبی دارند، نیز برای این وظیفه مورد استفاده قرار گرفتند.
• آموزش بازگشتی: مدل XR-LAT به صورت بازگشتی بر روی یک درخت کد سلسله مراتبی از پیش تعریف شده آموزش داده شد. این روش به مدل کمک می‌کند تا روابط بین کدهای ICD را بهتر یاد بگیرد.
• توجه برچسب‌محور: مدل XR-LAT از مکانیسم توجه برچسب‌محور استفاده می‌کند، که به مدل اجازه می‌دهد تا بر روی بخش‌های مهم متن که با هر برچسب مرتبط هستند، تمرکز کند.
• انتقال دانش: مدل XR-LAT از انتقال دانش برای بهبود عملکرد خود استفاده می‌کند. این بدان معناست که مدل از دانش آموخته شده در وظایف دیگر، برای بهبود عملکرد خود در کدگذاری ICD استفاده می‌کند.
• نمونه‌برداری منفی پویا: مدل XR-LAT از نمونه‌برداری منفی پویا استفاده می‌کند، که به مدل کمک می‌کند تا نمونه‌های منفی مناسبی را برای آموزش انتخاب کند.
• ارزیابی با استفاده از معیارها: عملکرد مدل‌ها با استفاده از معیارهای مختلفی مانند Micro-F1، Macro-F1 و Macro-AUC ارزیابی شد.

به طور خلاصه، روش‌شناسی این تحقیق شامل استفاده از مدل‌های پیشرفته، بهینه‌سازی پارامترها، استفاده از تکنیک‌های یادگیری پیشرفته، و ارزیابی دقیق عملکرد مدل‌ها با استفاده از معیارهای استاندارد است.

یافته‌های اصلی این تحقیق به شرح زیر است:

• مدل PLM-ICD بهینه‌سازی شده، با استفاده از طول توالی و قطعه‌بندی طولانی‌تر، توانسته است عملکرد بهتری نسبت به مدل PLM-ICD اصلی ارائه دهد و به بالاترین امتیاز Micro-F1 برابر با 60.8٪ دست یابد. این نشان می‌دهد که بهینه‌سازی پارامترهای مدل می‌تواند بهبود قابل توجهی در عملکرد آن ایجاد کند.
• مدل XR-Transformer، اگرچه در دامنه کلی طبقه‌بندی چندبرچسبی مفرط عملکرد خوبی دارد، در این وظیفه عملکرد ضعیف‌تری داشته است. این نشان می‌دهد که مدل‌های عمومی ممکن است برای وظایف خاص نیاز به تنظیم دقیق داشته باشند.
• مدل XR-LAT توانسته است نتایجی رقابتی با مدل PLM-ICD ارائه دهد و حتی در برخی معیارها مانند Macro-AUC، بهبودهایی را نشان دهد. این نشان می‌دهد که مدل XR-LAT یک جایگزین مناسب برای مدل PLM-ICD است.
• استفاده از تکنیک‌هایی مانند آموزش بازگشتی، توجه برچسب‌محور، انتقال دانش و نمونه‌برداری منفی پویا، می‌تواند به بهبود عملکرد مدل‌های کدگذاری ICD کمک کند.

به عنوان مثال، افزایش طول توالی به مدل اجازه می‌دهد تا اطلاعات بیشتری را از متن‌های طولانی پزشکی استخراج کند و در نتیجه، دقت کدگذاری را افزایش دهد. همچنین، استفاده از توجه برچسب‌محور به مدل کمک می‌کند تا بر روی بخش‌های مهم متن که با هر برچسب مرتبط هستند، تمرکز کند و از اطلاعات نامربوط اجتناب کند.

این تحقیق دارای کاربردهای عملی متعددی در حوزه سلامت است. برخی از این کاربردها عبارتند از:

• خودکارسازی کدگذاری ICD: این تحقیق می‌تواند به توسعه سیستم‌های خودکار برای کدگذاری ICD کمک کند. این سیستم‌ها می‌توانند به کاهش هزینه‌ها، افزایش سرعت و دقت کدگذاری، و بهبود کیفیت تحلیل داده‌های سلامت کمک کنند.
• بهبود مدیریت داده‌های سلامت: کدگذاری خودکار ICD می‌تواند به بهبود مدیریت داده‌های سلامت کمک کند. با استفاده از این روش‌ها، می‌توان داده‌های پزشکی را به طور دقیق و کارآمد طبقه‌بندی کرد و از آن‌ها برای تحلیل و تصمیم‌گیری استفاده کرد.
• تحقیقات پزشکی: داده‌های کدگذاری شده ICD می‌توانند برای تحقیقات پزشکی استفاده شوند. با استفاده از این داده‌ها، می‌توان الگوهای بیماری‌ها را شناسایی کرد، عوامل خطر را تعیین کرد، و اثربخشی درمان‌ها را ارزیابی کرد.
• تصمیم‌گیری بالینی: کدگذاری خودکار ICD می‌تواند به پزشکان در تصمیم‌گیری بالینی کمک کند. با استفاده از این روش‌ها، پزشکان می‌توانند به سرعت اطلاعات مربوط به بیماری‌های مختلف را به دست آورند و تصمیمات بهتری را برای درمان بیماران اتخاذ کنند.

دستاورد اصلی این تحقیق، ارائه یک مدل جدید و بهینه‌سازی شده برای کدگذاری خودکار ICD است که عملکرد بهتری نسبت به مدل‌های قبلی دارد. این دستاورد می‌تواند به توسعه سیستم‌های خودکار کدگذاری ICD کمک کند و در نهایت، به بهبود کیفیت مراقبت‌های بهداشتی منجر شود.

در مجموع، این مقاله نشان می‌دهد که مدل‌های مبتنی بر ترنسفورمر می‌توانند به طور موثر برای کدگذاری خودکار ICD استفاده شوند. مدل PLM-ICD بهینه‌سازی شده، توانسته است بهترین عملکرد را در مجموعه داده MIMIC-III ارائه دهد، در حالی که مدل XR-LAT، یک جایگزین مناسب و رقابتی است. این تحقیق، گام مهمی در جهت خودکارسازی فرآیند کدگذاری ICD و بهبود مدیریت داده‌های سلامت است.

تحقیقات آینده می‌توانند بر روی توسعه مدل‌های پیشرفته‌تر، استفاده از داده‌های بیشتر و متنوع‌تر، و ارزیابی مدل‌ها در محیط‌های بالینی واقعی تمرکز کنند. همچنین، بررسی تاثیر کدگذاری خودکار ICD بر کیفیت مراقبت‌های بهداشتی و رضایت بیماران نیز می‌تواند موضوع مهمی برای تحقیقات آینده باشد.