ترجمه فارسی مقاله سایبرسکوال ۳: پیشبرد ارزیابی ریسک‌ها و قابلیت‌های امنیت سایبری در مدل‌های زبانی بزرگ

چکیده

We are releasing a new suite of security benchmarks for LLMs, CYBERSECEVAL 3, to continue the conversation on empirically measuring LLM cybersecurity risks and capabilities. CYBERSECEVAL 3 assesses 8 different risks across two broad categories: risk to third parties, and risk to application developers and end users. Compared to previous work, we add new areas focused on offensive security capabilities: automated social engineering, scaling manual offensive cyber operations, and autonomous offensive cyber operations. In this paper we discuss applying these benchmarks to the Llama 3 models and a suite of contemporaneous state-of-the-art LLMs, enabling us to contextualize risks both with and without mitigations in place.

چکیده به فارسی (ترجمه ماشینی)

ما مجموعه جدیدی از معیارهای امنیتی را برای LLMS ، Cybereceval 3 منتشر می کنیم تا مکالمه را در مورد اندازه گیری تجربی خطرات و قابلیت های امنیت سایبری LLM ادامه دهیم.Cybereceval 3 8 خطرات مختلف را در دو دسته گسترده ارزیابی می کند: خطر برای اشخاص ثالث و خطر برای توسعه دهندگان برنامه و کاربران نهایی.در مقایسه با کار قبلی ، ما مناطق جدیدی را با محوریت قابلیت های امنیتی توهین آمیز اضافه می کنیم: مهندسی خودکار اجتماعی ، مقیاس گذاری عملیات سایبری توهین آمیز دستی و عملیات سایبری توهین آمیز خودمختار.در این مقاله ما در مورد استفاده از این معیارها در مدل های Llama 3 و مجموعه ای از LLM های مدرن معاصر بحث می کنیم ، و ما را قادر می سازد تا خطرات را با و بدون کاهش در نظر بگیریم.