ترجمه فارسی مقاله عملکرد LLMهای منبع باز در موارد چالش برانگیز رادیولوژیکی – یک مطالعه معیار بر روی 1933 گزارش موردی یوروراد

چکیده

Recent advancements in large language models (LLMs) have created new ways to support radiological diagnostics. While both open-source and proprietary LLMs can address privacy concerns through local or cloud deployment, open-source models provide advantages in continuity of access, and potentially lower costs. In this study, we evaluated the diagnostic performance of eleven state-of-the-art open-source LLMs using clinical and imaging descriptions from 1,933 case reports in the Eurorad library. LLMs provided differential diagnoses based on clinical history and imaging findings. Responses were considered correct if the true diagnosis was included in the top three LLM suggestions. Llama-3-70B evaluated LLM responses, with its accuracy validated against radiologist ratings in a case subset. Models were further tested on 60 non-public brain MRI cases from a tertiary hospital to assess generalizability. Llama-3-70B demonstrated superior performance, followed by Gemma-2-27B and Mixtral-8x-7B. Similar performance results were found in the non-public dataset, where Llama-3-70B, Gemma-2-27B, and Mixtral-8x-7B again emerged as the top models. Our findings highlight the potential of open-source LLMs as decision support tools for radiological differential diagnosis in challenging, real-world cases.

چکیده به فارسی (ترجمه ماشینی)

پیشرفت های اخیر در مدلهای بزرگ زبان (LLM) روشهای جدیدی برای پشتیبانی از تشخیص رادیولوژی ایجاد کرده است.در حالی که هر دو LLM های منبع باز و اختصاصی می توانند نگرانی های مربوط به حریم خصوصی را از طریق استقرار محلی یا ابر برطرف کنند ، مدل های منبع باز مزایایی در تداوم دسترسی و هزینه های بالقوه پایین تر دارند.در این مطالعه ، ما با استفاده از توضیحات بالینی و تصویربرداری از 1933 گزارش موردی در کتابخانه Eurorad ، عملکرد تشخیصی یازده مد روز از LLM های منبع باز را ارزیابی کردیم.LLMS تشخیص های افتراقی را بر اساس تاریخ بالینی و یافته های تصویربرداری ارائه می دهد.اگر تشخیص واقعی در سه پیشنهاد برتر LLM گنجانده شود ، پاسخ ها صحیح در نظر گرفته می شدند.LLAMA-3-70B پاسخ های LLM را ارزیابی کرد ، با صحت آن در برابر رتبه بندی رادیولوژیست در یک زیر مجموعه مورد تأیید شد.مدل ها بیشتر در 60 مورد MRI غیر عمومی مغزی از یک بیمارستان سوم برای ارزیابی تعمیم پذیری مورد آزمایش قرار گرفتند.LLAMA-3-70B عملکرد برتر را نشان داد و پس از آن GEMMA-2-27B و MIXTRAL-8X-7B.نتایج عملکرد مشابه در مجموعه داده های غیر عمومی ، جایی که Llama-3-70B ، Gemma-2-27B و Mixtral-8X-7B دوباره به عنوان مدل های برتر ظاهر شد ، یافت شد.یافته های ما پتانسیل LLM های منبع باز را به عنوان ابزارهای پشتیبانی از تصمیم گیری برای تشخیص دیفرانسیل رادیولوژیکی در موارد چالش برانگیز و در دنیای واقعی برجسته می کند.