ترجمه فارسی مقاله امتیازهای احتمالی طبقه‌بندی‌کننده‌ها، کالیبراسیون کافی نیست

چکیده

In binary classification tasks, accurate representation of probabilistic predictions is essential for various real-world applications such as predicting payment defaults or assessing medical risks. The model must then be well-calibrated to ensure alignment between predicted probabilities and actual outcomes. However, when score heterogeneity deviates from the underlying data probability distribution, traditional calibration metrics lose reliability, failing to align score distribution with actual probabilities. In this study, we highlight approaches that prioritize optimizing the alignment between predicted scores and true probability distributions over minimizing traditional performance or calibration metrics. When employing tree-based models such as Random Forest and XGBoost, our analysis emphasizes the flexibility these models offer in tuning hyperparameters to minimize the Kullback-Leibler (KL) divergence between predicted and true distributions. Through extensive empirical analysis across 10 UCI datasets and simulations, we demonstrate that optimizing tree-based models based on KL divergence yields superior alignment between predicted scores and actual probabilities without significant performance loss. In real-world scenarios, the reference probability is determined a priori as a Beta distribution estimated through maximum likelihood. Conversely, minimizing traditional calibration metrics may lead to suboptimal results, characterized by notable performance declines and inferior KL values. Our findings reveal limitations in traditional calibration metrics, which could undermine the reliability of predictive models for critical decision-making.

چکیده به فارسی (ترجمه ماشینی)

در کارهای طبقه بندی باینری ، بازنمایی دقیق پیش بینی های احتمالی برای برنامه های مختلف در دنیای واقعی مانند پیش بینی پیش فرض پرداخت یا ارزیابی خطرات پزشکی ضروری است.سپس این مدل باید به خوبی کالیبره شود تا از تراز بین احتمالات پیش بینی شده و نتایج واقعی اطمینان حاصل شود.با این حال ، هنگامی که ناهمگونی نمره از توزیع احتمال داده های اساسی منحرف می شود ، معیارهای کالیبراسیون سنتی قابلیت اطمینان را از دست می دهند و نتوانست توزیع نمره را با احتمالات واقعی تراز کند.در این مطالعه ، ما رویکردهایی را که در اولویت بندی بهینه سازی تراز بین نمرات پیش بینی شده و توزیع احتمال واقعی در مورد به حداقل رساندن عملکرد سنتی یا معیارهای کالیبراسیون است ، برجسته می کنیم.هنگام استفاده از مدلهای مبتنی بر درخت مانند جنگل تصادفی و XGBoost ، تجزیه و تحلیل ما بر انعطاف پذیری این مدلها در تنظیم هایپر پارامترها تأکید می کند تا واگرایی Kullback-Leibler (KL) بین توزیع های پیش بینی شده و واقعی را به حداقل برساند.از طریق تجزیه و تحلیل تجربی گسترده در 10 مجموعه داده و شبیه سازی UCI ، ما نشان می دهیم که بهینه سازی مدل های مبتنی بر درخت بر اساس واگرایی KL باعث تراز برتر بین نمرات پیش بینی شده و احتمالات واقعی بدون از دست دادن عملکرد قابل توجه می شود.در سناریوهای دنیای واقعی ، احتمال مرجع پیشینی به عنوان توزیع بتا تعیین می شود که از طریق حداکثر احتمال تخمین زده می شود.در مقابل ، به حداقل رساندن معیارهای سنتی کالیبراسیون ممکن است منجر به نتایج زیر حد متوسط ​​شود ، که با عملکرد قابل توجه کاهش می یابد و مقادیر KL فرومایه را کاهش می دهد.یافته های ما محدودیت هایی را در معیارهای سنتی کالیبراسیون نشان می دهد ، که می تواند قابلیت اطمینان مدل های پیش بینی کننده برای تصمیم گیری مهم را تضعیف کند.