مقاله اعتبار سنجی آمار کالیبراسیون ML-UQ با استفاده از مقادیر مرجع شبیه سازی شده: تجزیه و تحلیل حساسیت

چکیده

Some popular Machine Learning Uncertainty Quantification (ML-UQ) calibration statistics do not have predefined reference values and are mostly used in comparative studies. In consequence, calibration is almost never validated and the diagnostic is left to the appreciation of the reader. Simulated reference values, based on synthetic calibrated datasets derived from actual uncertainties, have been proposed to palliate this problem. As the generative probability distribution for the simulation of synthetic errors is often not constrained, the sensitivity of simulated reference values to the choice of generative distribution might be problematic, shedding a doubt on the calibration diagnostic. This study explores various facets of this problem, and shows that some statistics are excessively sensitive to the choice of generative distribution to be used for validation when the generative distribution is unknown. This is the case, for instance, of the correlation coefficient between absolute errors and uncertainties (CC) and of the expected normalized calibration error (ENCE). A robust validation workflow to deal with simulated reference values is proposed.

چکیده به فارسی (ترجمه ماشینی)

برخی از آمار کالیبراسیون کمیت عدم اطمینان از یادگیری ماشین (ML-UQ) مقادیر مرجع از پیش تعریف شده ای ندارند و بیشتر در مطالعات مقایسه ای مورد استفاده قرار می گیرند.در نتیجه ، کالیبراسیون تقریباً هرگز تأیید نمی شود و تشخیص به قدردانی از خواننده واگذار می شود.مقادیر مرجع شبیه سازی شده ، بر اساس مجموعه داده های کالیبره شده مصنوعی حاصل از عدم قطعیت های واقعی ، برای رفع این مشکل پیشنهاد شده است.از آنجا که توزیع احتمال مولد برای شبیه سازی خطاهای مصنوعی اغلب محدود نمی شود ، حساسیت مقادیر مرجع شبیه سازی شده به انتخاب توزیع تولیدی ممکن است مشکل ساز باشد و در تشخیص کالیبراسیون شک و تردید ایجاد می کند.این مطالعه به بررسی جنبه های مختلف این مشکل می پردازد و نشان می دهد که برخی از آمار نسبت به انتخاب توزیع تولیدی که برای اعتبار سنجی در هنگام توزیع تولیدی ناشناخته است ، بیش از حد حساس هستند.این مورد ، به عنوان مثال ، از ضریب همبستگی بین خطاهای مطلق و عدم قطعیت ها (CC) و خطای کالیبراسیون عادی مورد انتظار (ENCE) است.یک گردش کار اعتبار سنجی قوی برای مقابله با مقادیر مرجع شبیه سازی شده ارائه شده است.