ترجمه فارسی مقاله نسل آزمایش تقویت‌شده بازیابی: چقدر فاصله داریم؟

چکیده

Retrieval Augmented Generation (RAG) has shown notable advancements in software engineering tasks. Despite its potential, RAG’s application in unit test generation remains under-explored. To bridge this gap, we take the initiative to investigate the efficacy of RAG-based LLMs in test generation. As RAGs can leverage various knowledge sources to enhance their performance, we also explore the impact of different sources of RAGs’ knowledge bases on unit test generation to provide insights into their practical benefits and limitations. Specifically, we examine RAG built upon three types of domain knowledge: 1) API documentation, 2) GitHub issues, and 3) StackOverflow Q&As. Each source offers essential knowledge for creating tests from different perspectives, i.e., API documentations provide official API usage guidelines, GitHub issues offer resolutions of issues related to the APIs from the library developers, and StackOverflow Q&As present community-driven solutions and best practices. For our experiment, we focus on five widely used and typical Python-based machine learning (ML) projects, i.e., TensorFlow, PyTorch, Scikit-learn, Google JAX, and XGBoost to build, train, and deploy complex neural networks efficiently. We conducted experiments using the top 10% most widely used APIs across these projects, involving a total of 188 APIs. We investigate the effectiveness of four state-of-the-art LLMs (open and closed-sourced), i.e., GPT-3.5-Turbo, GPT-4o, Mistral MoE 8x22B, and Llamma 3.1 405B. Additionally, we compare three prompting strategies in generating unit test cases for the experimental APIs, i.e., zero-shot, a Basic RAG, and an API-level RAG on the three external sources. Finally, we compare the cost of different sources of knowledge used for the RAG.

چکیده به فارسی (ترجمه ماشینی)

بازیابی نسل تقویت شده (RAG) پیشرفتهای قابل توجهی را در کارهای مهندسی نرم افزار نشان داده است.علیرغم پتانسیل آن ، کاربرد RAG در تولید آزمون واحد تحت تأثیر قرار می گیرد.برای برطرف کردن این شکاف ، ما ابتکار عمل را برای بررسی اثربخشی LLM های مبتنی بر RAG در تولید آزمایش انجام می دهیم.از آنجا که RAGS می تواند منابع مختلف دانش را برای تقویت عملکرد خود به کار گیرد ، ما همچنین تأثیر منابع مختلف دانش دانش Rags را در تولید آزمون واحد بررسی می کنیم تا بینش هایی در مورد مزایا و محدودیت های عملی آنها ارائه دهیم.به طور خاص ، ما RAG ساخته شده بر روی سه نوع دانش دامنه را بررسی می کنیم: 1) مستندات API ، 2) شماره های GitHub و 3) q & as stackoverflow.هر منبع دانش اساسی را برای ایجاد تست ها از دیدگاه های مختلف ارائه می دهد ، یعنی مستندات API دستورالعمل های رسمی استفاده از API را ارائه می دهند ، موضوعات GitHub قطعنامه های مربوط به API ها را از توسعه دهندگان کتابخانه ارائه می دهد و راه حل های Q & q & as as as as at as as as as an.برای آزمایش ما ، ما روی پنج پروژه یادگیری ماشین مبتنی بر پیتون (ML) به طور گسترده و معمولی ، یعنی Tensorflow ، Pytorch ، Scikit-Learn ، Google Jax و XGBoost برای ساخت ، آموزش و استقرار شبکه های عصبی پیچیده به طور کارآمد تمرکز می کنیم.ما آزمایشاتی را با استفاده از 10 ٪ برتر API های مورد استفاده در این پروژه ها انجام دادیم که شامل 188 API است.ما اثربخشی چهار LLMS پیشرفته (منبع باز و بسته) ، یعنی GPT-3.5 توربو ، GPT-4O ، MISTRAL MOE 8X22B و LLAMMA 3.1 405B را بررسی می کنیم.علاوه بر این ، ما سه استراتژی سریع را در تولید موارد آزمون واحد برای API های آزمایشی ، یعنی صفر-شات ، یک پارچه اساسی و یک پارچه سطح API در سه منبع خارجی مقایسه می کنیم.سرانجام ، ما هزینه منابع مختلف دانش مورد استفاده برای پارچه را مقایسه می کنیم.