ترجمه فارسی مقاله معیار عدم قطعیت مدل زبان بزرگ برای بهینه سازی سریع

چکیده

Prompt optimization algorithms for Large Language Models (LLMs) excel in multi-step reasoning but still lack effective uncertainty estimation. This paper introduces a benchmark dataset to evaluate uncertainty metrics, focusing on Answer, Correctness, Aleatoric, and Epistemic Uncertainty. Through analysis of models like GPT-3.5-Turbo and Meta-Llama-3.1-8B-Instruct, we show that current metrics align more with Answer Uncertainty, which reflects output confidence and diversity, rather than Correctness Uncertainty, highlighting the need for improved metrics that are optimization-objective-aware to better guide prompt optimization. Our code and dataset are available at https://github.com/0Frett/PO-Uncertainty-Benchmarking.

چکیده به فارسی (ترجمه ماشینی)

الگوریتم های بهینه سازی سریع برای مدلهای بزرگ زبان (LLMS) در استدلال چند مرحله ای برتری دارند اما هنوز برآورد عدم اطمینان مؤثر ندارند.در این مقاله یک مجموعه داده معیار برای ارزیابی معیارهای عدم قطعیت ، با تمرکز بر پاسخ ، صحت ، آلاتوریک و عدم اطمینان معرفتی ارائه شده است.از طریق تجزیه و تحلیل مدلهایی مانند GPT-3.5 توربو و متا لما-3.1-8B–ما نشان می دهیم که معیارهای فعلی بیشتر با عدم اطمینان پاسخ ، که منعکس کننده اعتماد به نفس و تنوع است ، به جای عدم اطمینان صحیح ، نیاز به معیارهای بهبود یافته را نشان می دهد.که بهینه سازی-آگاه-آگاه برای راهنمایی بهتر بهینه سازی سریع هستند.کد و مجموعه داده ما در https://github.com/0frett/po-unctionalty-benchmarking در دسترس است.