ترجمه فارسی مقاله فاصله اطمینان برای خطای کالیبراسیون مورد انتظار $ \ ell_2 $

چکیده

Recent advances in machine learning have significantly improved prediction accuracy in various applications. However, ensuring the calibration of probabilistic predictions remains a significant challenge. Despite efforts to enhance model calibration, the rigorous statistical evaluation of model calibration remains less explored. In this work, we develop confidence intervals the $\ell_2$ Expected Calibration Error (ECE). We consider top-1-to-$k$ calibration, which includes both the popular notion of confidence calibration as well as full calibration. For a debiased estimator of the ECE, we show asymptotic normality, but with different convergence rates and asymptotic variances for calibrated and miscalibrated models. We develop methods to construct asymptotically valid confidence intervals for the ECE, accounting for this behavior as well as non-negativity. Our theoretical findings are supported through extensive experiments, showing that our methods produce valid confidence intervals with shorter lengths compared to those obtained by resampling-based methods.

چکیده به فارسی (ترجمه ماشینی)

پیشرفت های اخیر در یادگیری ماشین به طور قابل توجهی دقت پیش بینی را در برنامه های مختلف بهبود بخشیده است.با این حال ، اطمینان از کالیبراسیون پیش بینی های احتمالی یک چالش مهم است.با وجود تلاش برای تقویت کالیبراسیون مدل ، ارزیابی دقیق آماری کالیبراسیون مدل کمتر مورد بررسی قرار می گیرد.در این کار ، ما فواصل اطمینان را خطای کالیبراسیون مورد انتظار $ \ ell_2 $ (ECE) ایجاد می کنیم.ما کالیبراسیون برتر 1 تا $ k $ را در نظر می گیریم ، که شامل مفهوم محبوب کالیبراسیون اعتماد به نفس و همچنین کالیبراسیون کامل است.برای یک برآوردگر مبهم از ECE ، ما عادی بودن بدون علامت را نشان می دهیم ، اما با نرخ همگرایی مختلف و واریانس بدون علامت برای مدلهای کالیبره شده و سوء استفاده می شود.ما روش هایی را برای ایجاد فواصل اعتماد به نفس بدون علامت معتبر برای ECE ایجاد می کنیم ، این رفتار و همچنین غیر منفی بودن را حساب می کنیم.یافته های نظری ما از طریق آزمایش های گسترده پشتیبانی می شود ، نشان می دهد که روش های ما فواصل اطمینان معتبر را با طول کوتاه تر در مقایسه با روش های به دست آمده با روش های مبتنی بر تغییر شکل تولید می کنند.