ترجمه فارسی مقاله پایداری LLM: تحلیلی دقیق با برخی شگفتی‌ها

چکیده

LLM (large language model) practitioners commonly notice that outputs can vary for the same inputs, but we have been unable to find work that evaluates LLM stability as the main objective. In our study of 6 deterministically configured LLMs across 8 common tasks with 5 identical runs, we see accuracy variations up to 10%. In addition, no LLM consistently delivers repeatable accuracy across all tasks. We also show examples of variation that are not normally distributed and compare configurations with zero-shot/few-shot prompting and fine-tuned examples. To better quantify what is going on, we introduce metrics focused on stability: TARr@N for the total agreement rate at N runs over raw output, and TARa@N for total agreement over parsed-out answers. We suggest that stability metrics be integrated into leader boards and research results going forward.

چکیده به فارسی (ترجمه ماشینی)

پزشکان LLM (مدل زبان بزرگ) معمولاً متوجه می شوند که خروجی ها می توانند برای همان ورودی ها متفاوت باشند ، اما ما نتوانستیم کارهایی را پیدا کنیم که ثبات LLM را به عنوان هدف اصلی ارزیابی کند.در مطالعه ما از 6 LLMS به طور قطعی پیکربندی شده در 8 کار مشترک با 5 اجرا یکسان ، ما شاهد تغییرات دقت تا 10 ٪ هستیم.علاوه بر این ، NO LLM به طور مداوم دقت قابل تکرار را در تمام کارها ارائه نمی دهد.ما همچنین نمونه هایی از تنوع را نشان می دهیم که به طور معمول توزیع نمی شوند و تنظیمات را با نمونه های صفر شات/چند شات و تنظیم دقیق مقایسه می کنیم.برای تعیین بهتر آنچه اتفاق می افتد ، معیارهای متمرکز بر ثبات را معرفی می کنیم: Tarr@n برای کل توافق نامه در N اجرا بیش از حد خام ، و TARA@n برای توافق کامل در مورد پاسخ های تجزیه شده.ما پیشنهاد می کنیم که معیارهای پایداری در تابلوهای رهبر و نتایج تحقیق به جلو ادغام شوند.