ترجمه فارسی مقاله تحلیل خودکار کد استاتیک آسیب‌پذیری نرم‌افزار با استفاده از مدل‌های مولد ترانسفورماتور از پیش آموزش‌دیده

چکیده

Generative Pre-Trained Transformer models have been shown to be surprisingly effective at a variety of natural language processing tasks — including generating computer code. We evaluate the effectiveness of open source GPT models for the task of automatic identification of the presence of vulnerable code syntax (specifically targeting C and C++ source code). This task is evaluated on a selection of 36 source code examples from the NIST SARD dataset, which are specifically curated to not contain natural English that indicates the presence, or lack thereof, of a particular vulnerability. The NIST SARD source code dataset contains identified vulnerable lines of source code that are examples of one out of the 839 distinct Common Weakness Enumerations (CWE), allowing for exact quantification of the GPT output classification error rate. A total of 5 GPT models are evaluated, using 10 different inference temperatures and 100 repetitions at each setting, resulting in 5,000 GPT queries per vulnerable source code analyzed. Ultimately, we find that the GPT models that we evaluated are not suitable for fully automated vulnerability scanning because the false positive and false negative rates are too high to likely be useful in practice. However, we do find that the GPT models perform surprisingly well at automated vulnerability detection for some of the test cases, in particular surpassing random sampling, and being able to identify the exact lines of code that are vulnerable albeit at a low success rate. The best performing GPT model result found was Llama-2-70b-chat-hf with inference temperature of 0.1 applied to NIST SARD test case 149165 (which is an example of a buffer overflow vulnerability), which had a binary classification recall score of 1.0 and a precision of 1.0 for correctly and uniquely identifying the vulnerable line of code and the correct CWE number.

چکیده به فارسی (ترجمه ماشینی)

مدل های ترانسفورماتور از پیش آموزش دیده نشان داده شده است که در انواع کارهای پردازش زبان طبیعی-از جمله تولید کد رایانه-به طرز شگفت آور مؤثر است.ما اثربخشی مدل های منبع باز GPT را برای انجام وظیفه شناسایی خودکار حضور نحو کد آسیب پذیر (به طور خاص هدف قرار دادن کد منبع C و C ++) ارزیابی می کنیم.این کار بر روی مجموعه ای از 36 نمونه کد منبع از مجموعه داده های NIST Sard ، که به طور خاص تحت نظارت قرار گرفته اند حاوی انگلیسی طبیعی نیست که نشانگر حضور یا فقدان آن از یک آسیب پذیری خاص است ، ارزیابی می شود.مجموعه داده کد منبع NIST SARD حاوی خطوط آسیب پذیر کد منبع است که نمونه ای از یکی از 839 شمارش ضعف مشترک متمایز (CWE) است و امکان تعیین دقیق میزان خطای طبقه بندی خروجی GPT را فراهم می کند.در مجموع 5 مدل GPT با استفاده از 10 درجه حرارت استنتاج مختلف و 100 تکرار در هر تنظیم ارزیابی می شود و در نتیجه 5000 نمایش داده GPT در هر کد منبع آسیب پذیر تجزیه و تحلیل می شود.در نهایت ، ما می دانیم که مدل های GPT که ما ارزیابی کردیم برای اسکن آسیب پذیری کاملاً خودکار مناسب نیستند زیرا نرخ منفی مثبت و کاذب کاذب خیلی زیاد است تا احتمالاً در عمل مفید باشد.با این حال ، ما می دانیم که مدل های GPT در تشخیص آسیب پذیری خودکار برای برخی از موارد آزمایش ، به ویژه از نمونه گیری تصادفی فراتر رفته و قادر به شناسایی خطوط دقیق کدهایی هستند که هرچند با سرعت موفقیت آمیز آسیب پذیر هستند.بهترین نتیجه مدل GPT که یافت شد LLAMA-2-70B-CHAT-HF با دمای استنتاج 0.1 مورد استفاده در مورد آزمایش NIST SARD 149165 (که نمونه ای از آسیب پذیری سرریز بافر است) بود ، که دارای نمره فراخوان طبقه بندی باینری 1.0 استو دقت 1.0 برای شناسایی صحیح و منحصر به فرد خط آسیب پذیر کد و شماره CWE صحیح.