ترجمه فارسی مقاله تست عملکرد جاوا مبتنی بر هوش مصنوعی: ایجاد تعادل بین کیفیت نتیجه و زمان تست

چکیده

Performance testing aims at uncovering efficiency issues of software systems. In order to be both effective and practical, the design of a performance test must achieve a reasonable trade-off between result quality and testing time. This becomes particularly challenging in Java context, where the software undergoes a warm-up phase of execution, due to just-in-time compilation. During this phase, performance measurements are subject to severe fluctuations, which may adversely affect quality of performance test results. However, these approaches often provide suboptimal estimates of the warm-up phase, resulting in either insufficient or excessive warm-up iterations, which may degrade result quality or increase testing time. There is still a lack of consensus on how to properly address this problem. Here, we propose and study an AI-based framework to dynamically halt warm-up iterations at runtime. Specifically, our framework leverages recent advances in AI for Time Series Classification (TSC) to predict the end of the warm-up phase during test execution. We conduct experiments by training three different TSC models on half a million of measurement segments obtained from JMH microbenchmark executions. We find that our framework significantly improves the accuracy of the warm-up estimates provided by state-of-practice and state-of-the-art methods. This higher estimation accuracy results in a net improvement in either result quality or testing time for up to +35.3% of the microbenchmarks. Our study highlights that integrating AI to dynamically estimate the end of the warm-up phase can enhance the cost-effectiveness of Java performance testing.

چکیده به فارسی (ترجمه ماشینی)

آزمایش عملکرد با هدف کشف مسائل کارآیی سیستم های نرم افزاری.برای اینکه هم مؤثر و هم عملی باشد ، طراحی یک آزمون عملکرد باید به یک تجارت معقول بین کیفیت نتیجه و زمان آزمایش دست یابد.این امر به ویژه در زمینه جاوا ، جایی که این نرم افزار به دلیل تدوین فقط به موقع ، مرحله گرم شدن اجرا را پشت سر می گذارد ، چالش برانگیز می شود.در طی این مرحله ، اندازه گیری عملکرد در معرض نوسانات شدید است که ممکن است بر کیفیت نتایج آزمایش عملکرد تأثیر منفی بگذارد.با این حال ، این رویکردها غالباً برآوردهای زیر قطبی از مرحله گرم شدن را ارائه می دهند ، در نتیجه تکرار گرمای کافی یا بیش از حد ، که ممکن است باعث کاهش کیفیت نتیجه یا افزایش زمان آزمایش شود.هنوز فقدان اجماع در مورد چگونگی رسیدگی صحیح به این مشکل وجود دارد.در اینجا ، ما یک چارچوب مبتنی بر هوش مصنوعی را پیشنهاد و مطالعه می کنیم تا تکرارهای گرمایش را در زمان اجرا متوقف کنیم.به طور خاص ، چارچوب ما از پیشرفت های اخیر در AI برای طبقه بندی سری زمانی (TSC) استفاده می کند تا پایان مرحله گرم شدن را در حین اجرای آزمایش پیش بینی کند.ما با آموزش سه مدل مختلف TSC در نیم میلیون بخش اندازه گیری به دست آمده از اعدام های میکروبچارک مارک ، آزمایشاتی انجام می دهیم.ما می دانیم که چارچوب ما به طور قابل توجهی دقت برآوردهای گرم شده ارائه شده توسط روشهای پیشرفته و پیشرفته را بهبود می بخشد.این دقت تخمین بالاتر منجر به بهبود خالص در کیفیت نتیجه یا زمان آزمایش برای 35.3 ٪ میکروب مارک ها می شود.مطالعه ما نشان می دهد که ادغام هوش مصنوعی برای تخمین پویا پایان مرحله گرم شدن می تواند باعث افزایش مقرون به صرفه بودن آزمایش عملکرد جاوا شود.