ترجمه فارسی مقاله استخراج تشخیص از گزارش‌های اکوکاردیوگرام هلندی بدون ساختار با استفاده از طبقه‌بندی مشخصه در سطح و سند

چکیده

Clinical machine learning research and AI driven clinical decision support models rely on clinically accurate labels. Manually extracting these labels with the help of clinical specialists is often time-consuming and expensive. This study tests the feasibility of automatic span- and document-level diagnosis extraction from unstructured Dutch echocardiogram reports. We included 115,692 unstructured echocardiogram reports from the UMCU a large university hospital in the Netherlands. A randomly selected subset was manually annotated for the occurrence and severity of eleven commonly described cardiac characteristics. We developed and tested several automatic labelling techniques at both span and document levels, using weighted and macro F1-score, precision, and recall for performance evaluation. We compared the performance of span labelling against document labelling methods, which included both direct document classifiers and indirect document classifiers that rely on span classification results. The SpanCategorizer and MedRoBERTa$.$nl models outperformed all other span and document classifiers, respectively. The weighted F1-score varied between characteristics, ranging from 0.60 to 0.93 in SpanCategorizer and 0.96 to 0.98 in MedRoBERTa$.$nl. Direct document classification was superior to indirect document classification using span classifiers. SetFit achieved competitive document classification performance using only 10% of the training data. Utilizing a reduced label set yielded near-perfect document classification results. We recommend using our published SpanCategorizer and MedRoBERTa$.$nl models for span- and document-level diagnosis extraction from Dutch echocardiography reports. For settings with limited training data, SetFit may be a promising alternative for document classification.

چکیده به فارسی (ترجمه ماشینی)

تحقیقات یادگیری ماشین بالینی و مدلهای پشتیبانی از تصمیم گیری بالینی محور AI به برچسب های دقیق بالینی متکی هستند.استخراج دستی این برچسب ها با کمک متخصصان بالینی اغلب وقت گیر و گران است.این مطالعه امکان سنجی تشخیص خودکار تشخیص سطح و اسناد را از گزارش های اکوکاردیوگرام هلندی بدون ساختار هلندی آزمایش می کند.ما شامل 115،692 گزارش اکوکاردیوگرام بدون ساختار از UMCU یک بیمارستان بزرگ دانشگاهی در هلند بودیم.یک زیر مجموعه به طور تصادفی انتخاب شده به صورت دستی برای وقوع و شدت یازده ویژگی قلبی که معمولاً توصیف شده است حاشیه نویسی شد.ما چندین تکنیک برچسب زدن اتوماتیک را در هر دو سطح دهانه و اسناد توسعه داده ایم و با استفاده از وزن و کلان F1 ، Precision و فراخوان برای ارزیابی عملکرد.ما عملکرد برچسب زدن دهانه را در برابر روشهای برچسب زدن به اسناد مقایسه کردیم ، که شامل طبقه بندی کننده اسناد مستقیم و طبقه بندی کننده های اسناد غیرمستقیم است که به نتایج طبقه بندی Span اعتماد دارند.Models NL $ NL به ترتیب از سایر طبقه بندی کننده های دیگر و اسناد استفاده می کند.امتیاز F1 وزنی بین خصوصیات متفاوت بود ، از 0.60 تا 0.93 در Spancategorizer و 0.96 تا 0.98 در Medroberta $ NL.طبقه بندی اسناد مستقیم نسبت به طبقه بندی اسناد غیرمستقیم با استفاده از طبقه بندی کننده های Span برتر بود.SETFIT با استفاده از تنها 10 ٪ از داده های آموزشی ، عملکرد طبقه بندی اسناد رقابتی را به دست آورد.با استفاده از یک مجموعه برچسب کاهش یافته نتایج طبقه بندی اسناد تقریباً کامل را به همراه داشت.ما توصیه می کنیم از مدل های NL $ NL برای استخراج تشخیص سطح و اسناد از گزارش های اکوکاردیوگرافی هلندی استفاده کنید.برای تنظیمات با داده های آموزشی محدود ، SETFIT ممکن است یک جایگزین امیدوار کننده برای طبقه بندی اسناد باشد.