ترجمه فارسی مقاله تشخیص آسان شد: پتانسیل های مدل های زبان بزرگ برای آسیب پذیری های یکپارچگی

چکیده

The large-scale deployment of Solidity smart contracts on the Ethereum mainnet has increasingly attracted financially-motivated attackers in recent years. A few now-infamous attacks in Ethereum’s history includes DAO attack in 2016 (50 million dollars lost), Parity Wallet hack in 2017 (146 million dollars locked), Beautychain’s token BEC in 2018 (900 million dollars market value fell to 0), and NFT gaming blockchain breach in 2022 ($600 million in Ether stolen). This paper presents a comprehensive investigation of the use of large language models (LLMs) and their capabilities in detecting OWASP Top Ten vulnerabilities in Solidity. We introduce a novel, class-balanced, structured, and labeled dataset named VulSmart, which we use to benchmark and compare the performance of open-source LLMs such as CodeLlama, Llama2, CodeT5 and Falcon, alongside closed-source models like GPT-3.5 Turbo and GPT-4o Mini. Our proposed SmartVD framework is rigorously tested against these models through extensive automated and manual evaluations, utilizing BLEU and ROUGE metrics to assess the effectiveness of vulnerability detection in smart contracts. We also explore three distinct prompting strategies-zero-shot, few-shot, and chain-of-thought-to evaluate the multi-class classification and generative capabilities of the SmartVD framework. Our findings reveal that SmartVD outperforms its open-source counterparts and even exceeds the performance of closed-source base models like GPT-3.5 and GPT-4 Mini. After fine-tuning, the closed-source models, GPT-3.5 Turbo and GPT-4o Mini, achieved remarkable performance with 99% accuracy in detecting vulnerabilities, 94% in identifying their types, and 98% in determining severity. Notably, SmartVD performs best with the `chain-of-thought’ prompting technique, whereas the fine-tuned closed-source models excel with the `zero-shot’ prompting approach.

چکیده به فارسی (ترجمه ماشینی)

استقرار در مقیاس بزرگ قراردادهای هوشمندانه استحکام در Ethereum Mainnet در سالهای اخیر به طور فزاینده ای مهاجمان با انگیزه مالی را به خود جلب کرده است.چند حمله هم اکنون مشهور در تاریخ اتریوم شامل حمله DAO در سال 2016 (50 میلیون دلار از دست رفته) ، هک کیف پول برابری در سال 2017 (146 میلیون دلار قفل شده) ، BeautyChain’s Token BEC در سال 2018 (900 میلیون دلار ارزش بازار به 0 کاهش یافت) ، ونقض blockchain بازی NFT در سال 2022 (600 میلیون دلار به سرقت رفته اتر).در این مقاله یک تحقیق جامع در مورد استفاده از مدل های بزرگ زبان (LLM) و قابلیت های آنها در تشخیص ده آسیب پذیری برتر OWASP در استحکام ارائه شده است.ما یک مجموعه داده جدید ، متعادل ، ساختار یافته و دارای برچسب به نام Vulsmart را معرفی می کنیم که از آن برای معیار و مقایسه عملکرد LLM های منبع باز مانند Codellama ، LLAMA2 ، CODET5 و FALCON استفاده می کنیم ، در کنار مدلهای منبع بسته مانند GPT-3.5Turbo و GPT-4O Mini.چارچوب SMARTVD پیشنهادی ما از طریق ارزیابی های گسترده و خودکار و دستی ، با استفاده از معیارهای Bleu و Rouge برای ارزیابی اثربخشی تشخیص آسیب پذیری در قراردادهای هوشمند ، به طور جدی در برابر این مدل ها آزمایش می شود.ما همچنین سه استراتژی فرکانس متمایز را بررسی می کنیم ، چند شات ، چند عکس و زنجیره ای از فکر برای ارزیابی طبقه بندی چند طبقه و قابلیت های تولیدی چارچوب SmartVD.یافته های ما نشان می دهد که SmartVD از همتایان منبع باز خود بهتر عمل می کند و حتی از عملکرد مدل های پایه منبع بسته مانند GPT-3.5 و GPT-4 MINI فراتر می رود.پس از تنظیم دقیق ، مدل های منبع بسته ، GPT-5.5 Turbo و GPT-4O MINI ، با دقت 99 ٪ در تشخیص آسیب پذیری ها ، 94 ٪ در شناسایی انواع آنها و 98 ٪ در تعیین شدت به عملکرد قابل توجهی دست یافتند.نکته قابل توجه ، SmartVD بهترین عملکرد را با تکنیک فرکانس “زنجیره ای از فکر” انجام می دهد ، در حالی که مدل های منبع بسته تنظیم شده با رویکرد فوری “صفر-شات” برتری دارند.