ترجمه فارسی مقاله کاهش توهمات در مدل های زبان بزرگ: مطالعه تطبیقی ​​الگوهای پزشکی تقویت شده با RAG در مقابل الگوهای پزشکی تولید شده توسط انسان

چکیده

The integration of Large Language Models (LLMs) is increasingly recognized for its potential to enhance various aspects of healthcare, including patient care, medical research, and education. The well-known LLM from Open AI: ChatGPT, a user-friendly GPT-4 based chatbot, has become increasingly popular. However, current limitations to LLMs, such as hallucinations, outdated information, and ethical and legal complications may pose significant risks to patients and contribute to the spread of medical disinformation. This study focuses on the application of Retrieval-Augmented Generation (RAG) to mitigate common limitations of LLMs like ChatGPT and assess its effectiveness in summarizing and organizing medical information. Up-to-date clinical guidelines were utilized as the source of information to create detailed medical templates. These were evaluated against human-generated templates by a panel of physicians, using Likert scales for accuracy and usefulness, and programmatically using BERTScores for textual similarity. The LLM templates scored higher on average for both accuracy and usefulness when compared to human-generated templates. BERTScore analysis further showed high textual similarity between ChatGPT- and Human-generated templates. These results indicate that RAG-enhanced LLM prompting can effectively summarize and organize medical information, demonstrating high potential for use in clinical settings.

چکیده به فارسی (ترجمه ماشینی)

ادغام مدلهای بزرگ زبان (LLM) به طور فزاینده ای به دلیل پتانسیل آن در تقویت جنبه های مختلف مراقبت های بهداشتی ، از جمله مراقبت از بیمار ، تحقیقات پزشکی و آموزش شناخته می شود.LLM مشهور از Open AI: ChatGPT ، یک chatbot مبتنی بر GPT-4 کاربر پسند ، به طور فزاینده ای محبوب شده است.با این حال ، محدودیت های فعلی برای LLM ها ، مانند توهم ، اطلاعات منسوخ و عوارض اخلاقی و قانونی ممکن است خطرات قابل توجهی برای بیماران ایجاد کند و در گسترش اطلاعات پزشکی کمک کند.این مطالعه به استفاده از نسل بازیابی (RAG) برای کاهش محدودیت های مشترک LLM ها مانند ChatGPT و ارزیابی اثربخشی آن در جمع بندی و سازماندهی اطلاعات پزشکی می پردازد.از دستورالعمل های بالینی به روز به عنوان منبع اطلاعات برای ایجاد الگوهای پزشکی دقیق استفاده شد.اینها در برابر الگوهای تولید شده توسط انسان توسط پانل پزشکان ، با استفاده از مقیاس های لیکرت برای دقت و سودمندی و استفاده از برنامه نویسی با استفاده از BertScores برای شباهت متنی مورد بررسی قرار گرفت.الگوهای LLM در مقایسه با الگوهای تولید شده توسط انسان ، به طور متوسط ​​به طور متوسط ​​بالاتر بودند.تجزیه و تحلیل Bertscore در ادامه شباهت متنی بالایی بین الگوهای تولید شده توسط چتپپت و انسانی را نشان داد.این نتایج نشان می دهد که فرکانس LLM تقویت شده RAG می تواند به طور مؤثر اطلاعات پزشکی را خلاصه و سازماندهی کند ، و پتانسیل بالایی را برای استفاده در تنظیمات بالینی نشان می دهد.