ترجمه فارسی مقاله StructEval: ارزیابی مدل زبان بزرگ را از طریق ارزیابی ساختاریافته، عمیق‌تر و گسترده‌تر کنید

چکیده

Evaluation is the baton for the development of large language models. Current evaluations typically employ a single-item assessment paradigm for each atomic test objective, which struggles to discern whether a model genuinely possesses the required capabilities or merely memorizes/guesses the answers to specific questions. To this end, we propose a novel evaluation framework referred to as StructEval. Starting from an atomic test objective, StructEval deepens and broadens the evaluation by conducting a structured assessment across multiple cognitive levels and critical concepts, and therefore offers a comprehensive, robust and consistent evaluation for LLMs. Experiments on three widely-used benchmarks demonstrate that StructEval serves as a reliable tool for resisting the risk of data contamination and reducing the interference of potential biases, thereby providing more reliable and consistent conclusions regarding model capabilities. Our framework also sheds light on the design of future principled and trustworthy LLM evaluation protocols.

چکیده به فارسی (ترجمه ماشینی)

ارزیابی باتوم برای توسعه مدلهای بزرگ زبان است.ارزیابی های فعلی به طور معمول از یک الگوی ارزیابی تک ماده ای برای هر هدف تست اتمی استفاده می کند ، که تلاش می کند تا تشخیص دهد که آیا یک مدل واقعاً توانایی های مورد نیاز را دارد یا صرفاً از آن استفاده می کند/حدس می زند و پاسخ به سؤالات خاص را می دهد.برای این منظور ، ما یک چارچوب ارزیابی جدید را که به عنوان ساختاری گفته می شود پیشنهاد می کنیم.با شروع از یک هدف آزمایش اتمی ، ساختار با انجام یک ارزیابی ساختاری در سطوح شناختی متعدد و مفاهیم مهم ، ارزیابی را عمیق و گسترده تر می کند ، و بنابراین یک ارزیابی جامع ، قوی و مداوم برای LLM ها ارائه می دهد.آزمایشات روی سه معیار بسیار استفاده شده نشان می دهد که ساختار به عنوان ابزاری قابل اعتماد برای مقاومت در برابر خطر آلودگی داده ها و کاهش تداخل تعصبات بالقوه عمل می کند و از این طریق نتیجه گیری های قابل اطمینان تر و مداوم در مورد قابلیت های مدل ارائه می دهد.چارچوب ما همچنین به طراحی پروتکل های ارزیابی LLM در آینده و قابل اعتماد می پردازد.