ترجمه فارسی مقاله کمی‌سازی عدم قطعیت چندگروهی برای تولید متن طولانی

چکیده

While large language models are rapidly moving towards consumer-facing applications, they are often still prone to factual errors and hallucinations. In order to reduce the potential harms that may come from these errors, it is important for users to know to what extent they can trust an LLM when it makes a factual claim. To this end, we study the problem of uncertainty quantification of factual correctness in long-form natural language generation. Given some output from a large language model, we study both uncertainty at the level of individual claims contained within the output (via calibration) and uncertainty across the entire output itself (via conformal prediction). Moreover, we invoke multicalibration and multivalid conformal prediction to ensure that such uncertainty guarantees are valid both marginally and across distinct groups of prompts. Using the task of biography generation, we demonstrate empirically that having access to and making use of additional group attributes for each prompt improves both overall and group-wise performance. As the problems of calibration, conformal prediction, and their multi-group counterparts have not been extensively explored previously in the context of long-form text generation, we consider these empirical results to form a benchmark for this setting.

چکیده به فارسی (ترجمه ماشینی)

در حالی که مدل های بزرگ زبان به سرعت به سمت برنامه های مصرف کننده حرکت می کنند ، اما اغلب آنها هنوز مستعد خطاها و توهمات واقعی هستند.به منظور کاهش مضرات احتمالی ناشی از این خطاها ، برای کاربران مهم است که بدانند در صورت ادعای واقعی می توانند به LLM اعتماد کنند.برای این منظور ، ما مسئله کمیت عدم اطمینان از صحت واقعی را در تولید زبان طبیعی با فرم طولانی بررسی می کنیم.با توجه به برخی از بازده های یک مدل زبان بزرگ ، ما هر دو عدم اطمینان را در سطح ادعاهای فردی موجود در خروجی (از طریق کالیبراسیون) و عدم اطمینان در کل خود خروجی (از طریق پیش بینی کنفورماسی) مطالعه می کنیم.علاوه بر این ، ما از پیش بینی های چندگانه و چندگانه کنفورمالها استفاده می کنیم تا اطمینان حاصل کنیم که چنین ضمانت های عدم اطمینان هم به صورت حاشیه ای و هم در گروههای مجزا از اعلان ها معتبر هستند.با استفاده از وظیفه تولید بیوگرافی ، ما به صورت تجربی نشان می دهیم که دسترسی به و استفاده از ویژگی های گروهی اضافی برای هر سریع ، عملکرد کلی و گروهی را بهبود می بخشد.به عنوان مشکلات کالیبراسیون ، پیش بینی کنفورماسی و همتایان چند گروهی آنها قبلاً در زمینه تولید متن با فرم طولانی مورد بررسی قرار نگرفتند ، ما این نتایج تجربی را برای تشکیل یک معیار برای این تنظیم می دانیم.