ترجمه فارسی مقاله تشخیص توهم مقرون به صرفه برای LLMS

چکیده

Large language models (LLMs) can be prone to hallucinations – generating unreliable outputs that are unfaithful to their inputs, external facts or internally inconsistent. In this work, we address several challenges for post-hoc hallucination detection in production settings. Our pipeline for hallucination detection entails: first, producing a confidence score representing the likelihood that a generated answer is a hallucination; second, calibrating the score conditional on attributes of the inputs and candidate response; finally, performing detection by thresholding the calibrated score. We benchmark a variety of state-of-the-art scoring methods on different datasets, encompassing question answering, fact checking, and summarization tasks. We employ diverse LLMs to ensure a comprehensive assessment of performance. We show that calibrating individual scoring methods is critical for ensuring risk-aware downstream decision making. Based on findings that no individual score performs best in all situations, we propose a multi-scoring framework, which combines different scores and achieves top performance across all datasets. We further introduce cost-effective multi-scoring, which can match or even outperform more expensive detection methods, while significantly reducing computational overhead.

چکیده به فارسی (ترجمه ماشینی)

مدل های بزرگ زبان (LLMS) می توانند مستعد توهم باشند – تولید خروجی های غیرقابل اعتماد که بی دین برای ورودی های آنها ، حقایق خارجی یا از نظر داخلی متناقض است.در این کار ، ما برای تشخیص توهم پس از تعقیب در تنظیمات تولید ، به چالش های مختلفی پرداخته ایم.خط لوله ما برای تشخیص توهم مستلزم: اول ، تولید نمره اعتماد به نفس است که نشان دهنده احتمال اینکه یک پاسخ تولید شده توهم باشد.دوم ، کالیبراسیون نمره مشروط بر ویژگی های ورودی ها و پاسخ نامزد.سرانجام ، انجام تشخیص با آستانه نمره کالیبره شده.ما انواع روشهای پیشرفته و پیشرفته را در مجموعه داده های مختلف ، پاسخ دادن به سؤال شامل ، بررسی واقعیت و کارهای خلاصه معیار می کنیم.ما برای اطمینان از ارزیابی جامع از عملکرد ، از LLM های متنوع استفاده می کنیم.ما نشان می دهیم که کالیبراسیون روشهای امتیاز دهی فردی برای اطمینان از تصمیم گیری در پایین دست آگاهی از ریسک بسیار مهم است.بر اساس یافته ها که هیچ نمره ای در همه شرایط بهترین عملکرد را ندارد ، ما یک چارچوب چند امتیاز دهی را پیشنهاد می کنیم ، که نمرات مختلفی را ترکیب می کند و به عملکرد برتر در تمام مجموعه داده ها می رسد.ما در ادامه چند گلزنی مقرون به صرفه را معرفی می کنیم ، که می تواند با روش های تشخیص گران تر مطابقت داشته باشد یا حتی بهتر عمل کند ، در حالی که به طور قابل توجهی سربار محاسباتی را کاهش می دهد.