ترجمه فارسی مقاله

چکیده

We witness an increasing usage of AI-assistants even for routine (classroom) programming tasks. However, the code generated on basis of a so called “prompt” by the programmer does not always meet accepted security standards. On the one hand, this may be due to lack of best-practice examples in the training data. On the other hand, the actual quality of the programmers prompt appears to influence whether generated code contains weaknesses or not. In this paper we analyse 4 major LLMs with respect to the security of generated code. We do this on basis of a case study for the Python and Javascript language, using the MITRE CWE catalogue as the guiding security definition. Our results show that using different prompting techniques, some LLMs initially generate 65% code which is deemed insecure by a trained security engineer. On the other hand almost all analysed LLMs will eventually generate code being close to 100% secure with increasing manual guidance of a skilled engineer.

چکیده به فارسی (ترجمه ماشینی)

ما شاهد استفاده فزاینده ای از متقاضیان AI حتی برای کارهای برنامه نویسی روتین (کلاس) هستیم.با این حال ، کد تولید شده بر اساس به اصطلاح “سریع” توسط برنامه نویس همیشه استانداردهای امنیتی پذیرفته شده را رعایت نمی کند.از یک طرف ، این ممکن است به دلیل عدم وجود نمونه های بهترین عملکرد در داده های آموزش باشد.از طرف دیگر ، به نظر می رسد که کیفیت واقعی برنامه نویسان بر این که آیا کد تولید شده حاوی نقاط ضعف است یا خیر ، تأثیر می گذارد.در این مقاله ما 4 LLM اصلی را با توجه به امنیت کد تولید شده تجزیه و تحلیل می کنیم.ما این کار را بر اساس یک مطالعه موردی برای زبان پایتون و جاوا اسکریپت انجام می دهیم ، با استفاده از کاتالوگ MITER CWE به عنوان تعریف امنیت راهنما.نتایج ما نشان می دهد که با استفاده از تکنیک های مختلف سریع ، برخی از LLM ها در ابتدا کد 65 ٪ تولید می کنند که توسط یک مهندس امنیتی آموزش دیده ناامن تلقی می شود.از طرف دیگر ، تقریباً همه LLM های مورد تجزیه و تحلیل در نهایت با افزایش راهنمایی دستی یک مهندس ماهر ، نزدیک به 100 ٪ امنیت تولید می کنند.