ترجمه فارسی مقاله بازگویی سوال برای کمی‌سازی عدم قطعیت در مدل‌های زبانی بزرگ: کاربردها در وظایف شیمی مولکولی

چکیده

Uncertainty quantification enables users to assess the reliability of responses generated by large language models (LLMs). We present a novel Question Rephrasing technique to evaluate the input uncertainty of LLMs, which refers to the uncertainty arising from equivalent variations of the inputs provided to LLMs. This technique is integrated with sampling methods that measure the output uncertainty of LLMs, thereby offering a more comprehensive uncertainty assessment. We validated our approach on property prediction and reaction prediction for molecular chemistry tasks.

چکیده به فارسی (ترجمه ماشینی)

کمیت عدم اطمینان کاربران را قادر می سازد تا قابلیت اطمینان پاسخ های ایجاد شده توسط مدلهای بزرگ زبان (LLMS) را ارزیابی کنند.ما یک تکنیک جدید برای تغییر سوال برای ارزیابی عدم اطمینان ورودی LLM ها ارائه می دهیم ، که به عدم قطعیت ناشی از تغییرات معادل ورودی های ارائه شده به LLM ها اشاره دارد.این تکنیک با روش های نمونه گیری که اندازه گیری عدم اطمینان خروجی LLM ها را اندازه گیری می کند ، یکپارچه شده است ، در نتیجه ارزیابی جامع تر عدم اطمینان را ارائه می دهد.ما رویکرد خود را در مورد پیش بینی خاصیت و پیش بینی واکنش برای کارهای شیمی مولکولی تأیید کردیم.