ترجمه فارسی مقاله مدل‌های زبان و بازیابی نسل افزوده برای استخراج خودکار داده‌های ساختاریافته از گزارش‌های تشخیصی

چکیده

Purpose: To develop and evaluate an automated system for extracting structured clinical information from unstructured radiology and pathology reports using open-weights large language models (LMs) and retrieval augmented generation (RAG), and to assess the effects of model configuration variables on extraction performance. Methods and Materials: The study utilized two datasets: 7,294 radiology reports annotated for Brain Tumor Reporting and Data System (BT-RADS) scores and 2,154 pathology reports annotated for isocitrate dehydrogenase (IDH) mutation status. An automated pipeline was developed to benchmark the performance of various LMs and RAG configurations. The impact of model size, quantization, prompting strategies, output formatting, and inference parameters was systematically evaluated. Results: The best performing models achieved over 98% accuracy in extracting BT-RADS scores from radiology reports and over 90% for IDH mutation status extraction from pathology reports. The top model being medical fine-tuned llama3. Larger, newer, and domain fine-tuned models consistently outperformed older and smaller models. Model quantization had minimal impact on performance. Few-shot prompting significantly improved accuracy. RAG improved performance for complex pathology reports but not for shorter radiology reports. Conclusions: Open LMs demonstrate significant potential for automated extraction of structured clinical data from unstructured clinical reports with local privacy-preserving application. Careful model selection, prompt engineering, and semi-automated optimization using annotated data are critical for optimal performance. These approaches could be reliable enough for practical use in research workflows, highlighting the potential for human-machine collaboration in healthcare data extraction.

چکیده به فارسی (ترجمه ماشینی)

هدف: برای توسعه و ارزیابی یک سیستم خودکار برای استخراج اطلاعات بالینی ساختاری از رادیولوژی بدون ساختار و گزارش های آسیب شناسی با استفاده از مدلهای بزرگ زبان (LMS) و نسل تقویت شده بازیابی (RAG) و ارزیابی تأثیر متغیرهای پیکربندی مدل بر عملکرد استخراجبشرمواد و روش ها و مواد: این مطالعه از دو مجموعه داده استفاده شده است: 7،294 گزارش رادیولوژی برای گزارش های تومور مغزی و سیستم داده (BT-RADS) و 2،154 گزارش آسیب شناسی حاشیه نویسی برای وضعیت جهش ایزوسیترات دهیدروژناز (IDH).یک خط لوله خودکار برای محک زدن عملکرد LMS و تنظیمات RAG مختلف ایجاد شد.تأثیر اندازه مدل ، کمیت ، استراتژی های فرکانس ، قالب بندی خروجی و پارامترهای استنتاج به طور سیستماتیک مورد بررسی قرار گرفت.یافته ها: بهترین مدلهای عملکردی که بیش از 98 ٪ دقت در استخراج نمرات BT-RADS از گزارش های رادیولوژی و بیش از 90 ٪ برای استخراج وضعیت جهش IDH از گزارش های آسیب شناسی به دست آورد.مدل برتر LLAMA3 تنظیم شده پزشکی است.مدلهای بزرگتر ، جدیدتر و دامنه تنظیم شده به طور مداوم از مدل های قدیمی تر و کوچکتر بهتر عمل می کنند.کمیت مدل تأثیر کمتری در عملکرد داشت.چند ضربه ای که باعث بهبود قابل توجهی می شود.RAG عملکرد گزارش های آسیب شناسی پیچیده را بهبود بخشید اما برای گزارش های رادیولوژی کوتاه تر نیست.نتیجه گیری: LMS باز پتانسیل قابل توجهی برای استخراج خودکار داده های بالینی ساختاری از گزارش های بالینی بدون ساختار با استفاده از حریم خصوصی محلی نشان می دهد.انتخاب دقیق مدل ، مهندسی سریع و بهینه سازی نیمه اتوماتیک با استفاده از داده های حاشیه نویسی برای عملکرد بهینه بسیار مهم است.این رویکردها می توانند به اندازه کافی قابل اعتماد برای استفاده عملی در گردش کار تحقیقاتی باشند ، و پتانسیل همکاری انسان در استخراج داده های مراقبت های بهداشتی را برجسته می کنند.