ترجمه فارسی مقاله دقت برنامه‌های ارزیابی علائم آنلاین، مدل‌های زبان بزرگ، و افراد عادی برای تصمیم‌گیری‌های خودآزمایی: یک بررسی سیستماتیک

چکیده

Symptom-Assessment Application (SAAs, e.g., NHS 111 online) that assist medical laypeople in deciding if and where to seek care (self-triage) are gaining popularity and their accuracy has been examined in numerous studies. With the public release of Large Language Models (LLMs, e.g., ChatGPT), their use in such decision-making processes is growing as well. However, there is currently no comprehensive evidence synthesis for LLMs, and no review has contextualized the accuracy of SAAs and LLMs relative to the accuracy of their users. Thus, this systematic review evaluates the self-triage accuracy of both SAAs and LLMs and compares them to the accuracy of medical laypeople. A total of 1549 studies were screened, with 19 included in the final analysis. The self-triage accuracy of SAAs was found to be moderate but highly variable (11.5 – 90.0%), while the accuracy of LLMs (57.8 – 76.0%) and laypeople (47.3 – 62.4%) was moderate with low variability. Despite some published recommendations to standardize evaluation methodologies, there remains considerable heterogeneity among studies. The use of SAAs should not be universally recommended or discouraged; rather, their utility should be assessed based on the specific use case and tool under consideration.

چکیده به فارسی (ترجمه ماشینی)

برنامه ارزیابی علائم (SaaS ، به عنوان مثال ، NHS 111 بصورت آنلاین) که به افراد پزشکی کمک می کنند تا تصمیم بگیرند که آیا و کجا می توانند مراقبت کنند (خود محرک) محبوبیت کسب می کنند و دقت آنها در مطالعات متعددی مورد بررسی قرار گرفته است.با انتشار عمومی مدل های بزرگ زبان (LLMS ، به عنوان مثال ، ChatGPT) ، استفاده از آنها در چنین فرایندهای تصمیم گیری نیز در حال رشد است.با این حال ، در حال حاضر هیچ سنتز شواهد جامع برای LLM ها وجود ندارد ، و هیچ بررسی صحت SaaS و LLMS نسبت به صحت کاربران خود را متناسب نکرده است.بنابراین ، این بررسی سیستماتیک ، دقت خودآرازی هر دو SaaS و LLMS را ارزیابی می کند و آنها را با صحت افراد پزشکی پزشکی مقایسه می کند.در مجموع 1549 مطالعه مورد بررسی قرار گرفتند که 19 مورد در تجزیه و تحلیل نهایی گنجانده شده است.دقت خود محرک SaaS به نظر می رسد متوسط ​​اما بسیار متغیر (5/11-90.0 ٪) ، در حالی که صحت LLMS (57.8-76.0 ٪) و افراد غیرمجاز (47.3-62.4 ٪) با تنوع کم متوسط ​​بود.با وجود برخی از توصیه های منتشر شده برای استاندارد سازی روش های ارزیابی ، ناهمگونی قابل توجهی در بین مطالعات وجود دارد.استفاده از SaaS نباید به طور جهانی توصیه یا دلسرد شود.در عوض ، ابزار آنها باید بر اساس مورد استفاده خاص و ابزار مورد نظر ارزیابی شود.