ترجمه فارسی مقاله قانون عملکرد مدل های بزرگ زبان

چکیده

Guided by the belief of the scaling law, large language models (LLMs) have achieved impressive performance in recent years. However, scaling law only gives a qualitative estimation of loss, which is influenced by various factors such as model architectures, data distributions, tokenizers, and computation precision. Thus, estimating the real performance of LLMs with different training settings rather than loss may be quite useful in practical development. In this article, we present an empirical equation named “Performance Law” to directly predict the MMLU score of an LLM, which is a widely used metric to indicate the general capability of LLMs in real-world conversations and applications. Based on only a few key hyperparameters of the LLM architecture and the size of training data, we obtain a quite accurate MMLU prediction of various LLMs with diverse sizes and architectures developed by different organizations in different years. Performance law can be used to guide the choice of LLM architecture and the effective allocation of computational resources without extensive experiments.

چکیده به فارسی (ترجمه ماشینی)

با هدایت اعتقاد به قانون مقیاس گذاری ، مدل های بزرگ زبان (LLMS) در سالهای اخیر به عملکرد چشمگیر رسیده اند.با این حال ، مقیاس بندی قانون فقط تخمین کیفی از دست دادن را ارائه می دهد ، که تحت تأثیر عوامل مختلفی مانند معماری های مدل ، توزیع داده ها ، نشانه ها و دقت محاسبه است.بنابراین ، برآورد عملکرد واقعی LLMS با تنظیمات مختلف آموزش به جای از دست دادن ممکن است در توسعه عملی کاملاً مفید باشد.در این مقاله ، ما یک معادله تجربی به نام “قانون عملکرد” ​​ارائه می دهیم تا مستقیماً نمره MMLU یک LLM را پیش بینی کنیم ، که یک متریک به طور گسترده ای برای نشان دادن توانایی کلی LLM ها در مکالمات و برنامه های دنیای واقعی است.بر اساس تنها چند هیپرپارامترهای مهم معماری LLM و اندازه داده های آموزش ، ما یک پیش بینی کاملاً دقیق MMLU از LLM های مختلف با اندازه و معماری متنوع را که توسط سازمان های مختلف در سالهای مختلف ایجاد شده است ، بدست می آوریم.از قانون عملکرد می توان برای هدایت انتخاب معماری LLM و تخصیص مؤثر منابع محاسباتی بدون آزمایش های گسترده استفاده کرد.