مقاله مقایسه تجربی بین اعتبارسنجی مقابله ای و اعتبار سنجی جهش در انتخاب مدل

چکیده

Mutation validation (MV) is a recently proposed approach for model selection, garnering significant interest due to its unique characteristics and potential benefits compared to the widely used cross-validation (CV) method. In this study, we empirically compared MV and $k$-fold CV using benchmark and real-world datasets. By employing Bayesian tests, we compared generalization estimates yielding three posterior probabilities: practical equivalence, CV superiority, and MV superiority. We also evaluated the differences in the capacity of the selected models and computational efficiency. We found that both MV and CV select models with practically equivalent generalization performance across various machine learning algorithms and the majority of benchmark datasets. MV exhibited advantages in terms of selecting simpler models and lower computational costs. However, in some cases MV selected overly simplistic models leading to underfitting and showed instability in hyperparameter selection. These limitations of MV became more evident in the evaluation of a real-world neuroscientific task of predicting sex at birth using brain functional connectivity.

چکیده به فارسی (ترجمه ماشینی)

اعتبار سنجی جهش (MV) یک رویکرد اخیراً پیشنهادی برای انتخاب مدل است ، به دلیل ویژگی های منحصر به فرد و مزایای بالقوه در مقایسه با روش اعتبار سنجی متقابل (CV) که مورد استفاده قرار می گیرد ، علاقه قابل توجهی کسب می کند.در این مطالعه ، ما CV MV و $ $ $-flouge را با استفاده از مجموعه داده های معیار و دنیای واقعی مقایسه کردیم.با استفاده از تست های بیزی ، ما برآوردهای عمومی را با سه احتمال خلفی مقایسه کردیم: هم ارزی عملی ، برتری CV و برتری MV.ما همچنین تفاوت در ظرفیت مدل های انتخاب شده و راندمان محاسباتی را ارزیابی کردیم.ما دریافتیم که هر دو مدل MV و CV با عملکرد کلی سازی عملا معادل آن در الگوریتم های مختلف یادگیری ماشین و اکثر مجموعه داده های معیار انتخاب شده اند.MV از نظر انتخاب مدل های ساده تر و پایین آمدن هزینه های محاسباتی مزایایی را به نمایش گذاشت.با این حال ، در بعضی موارد MV مدلهای بسیار ساده ای را انتخاب می کند که منجر به زیربنایی می شود و بی ثباتی در انتخاب هایپرپارامتر نشان می دهد.این محدودیت های MV در ارزیابی یک کار علوم عصبی در دنیای واقعی پیش بینی رابطه جنسی در بدو تولد با استفاده از اتصال عملکردی مغز مشهودتر شد.