ترجمه فارسی مقاله میمون‌های زبان بزرگ: مقیاس‌بندی محاسبات استنتاج با نمونه‌گیری مکرر

چکیده

Scaling the amount of compute used to train language models has dramatically improved their capabilities. However, when it comes to inference, we often limit the amount of compute to only one attempt per problem. Here, we explore inference compute as another axis for scaling by increasing the number of generated samples. Across multiple tasks and models, we observe that coverage – the fraction of problems solved by any attempt – scales with the number of samples over four orders of magnitude. In domains like coding and formal proofs, where all answers can be automatically verified, these increases in coverage directly translate into improved performance. When we apply repeated sampling to SWE-bench Lite, the fraction of issues solved with DeepSeek-V2-Coder-Instruct increases from 15.9% with one sample to 56% with 250 samples, outperforming the single-attempt state-of-the-art of 43% which uses more capable frontier models. Moreover, using current API pricing, amplifying the cheaper DeepSeek model with five samples is more cost-effective and solves more issues than paying a premium for one sample from GPT-4o or Claude 3.5 Sonnet. Interestingly, the relationship between coverage and the number of samples is often log-linear and can be modelled with an exponentiated power law, suggesting the existence of inference-time scaling laws. Finally, we find that identifying correct samples out of many generations remains an important direction for future research in domains without automatic verifiers. When solving math word problems from GSM8K and MATH, coverage with Llama-3 models grows to over 95% with 10,000 samples. However, common methods to pick correct solutions from a sample collection, such as majority voting or reward models, plateau beyond several hundred samples and fail to fully scale with the sample budget.

چکیده به فارسی (ترجمه ماشینی)

مقیاس بندی مقدار محاسباتی که برای آموزش مدل های زبان استفاده می شود ، قابلیت های آنها را به طرز چشمگیری بهبود بخشیده است.با این حال ، وقتی صحبت از استنباط می شود ، ما اغلب مقدار محاسبات را فقط به یک تلاش در هر مشکل محدود می کنیم.در اینجا ، ما با افزایش تعداد نمونه های تولید شده ، محاسبه استنتاج را به عنوان محور دیگری برای مقیاس گذاری بررسی می کنیم.در طول چندین کار و مدل ها ، ما مشاهده می کنیم که پوشش – کسری از مشکلات حل شده توسط هرگونه تلاش – با تعداد نمونه ها بیش از چهار مرتبه از بزرگی.در دامنه هایی مانند برنامه نویسی و اثبات رسمی ، که در آن می توان تمام پاسخ ها را به طور خودکار تأیید کرد ، این افزایش در پوشش مستقیماً به عملکرد بهبود یافته ترجمه می شود.هنگامی که ما نمونه برداری مکرر را به SWE-BENCH LITE اعمال می کنیم ، کسری از موضوعات حل شده با مدرک Deepseek-V2-Coder-Coder از 15.9 ٪ با یک نمونه به 56 ٪ با 250 نمونه افزایش می یابد ، و بهتر از این استاز 43 ٪ که از مدل های مرزی تواناتر استفاده می کند.علاوه بر این ، با استفاده از قیمت گذاری فعلی API ، تقویت مدل ارزان تر Deepseek با پنج نمونه مقرون به صرفه تر است و مسائل بیشتری را نسبت به پرداخت حق بیمه برای یک نمونه از GPT-4O یا Claude 3.5 Sonnet حل می کند.جالب اینجاست که رابطه بین پوشش و تعداد نمونه ها اغلب به صورت خطی وارد می شود و می توان با یک قانون قدرت نماینده مدل سازی کرد ، و حاکی از وجود قوانین مقیاس بندی زمان استنباط است.سرانجام ، ما می دانیم که شناسایی نمونه های صحیح از نسل های مختلف ، جهت مهمی برای تحقیقات آینده در حوزه های بدون تأیید خودکار است.هنگام حل مشکلات کلمه ریاضی از GSM8K و MATH ، پوشش با مدل های Llama-3 با 10،000 نمونه به بیش از 95 ٪ افزایش می یابد.با این حال ، روش های متداول برای انتخاب راه حل های صحیح از یک مجموعه نمونه ، مانند اکثر مدل های رای گیری یا پاداش ، فلات فراتر از چند صد نمونه و در مقیاس کامل با بودجه نمونه ناکام است.