مقاله تجزیه های میانگین نمره احتمال رتبه بندی شده پیوسته

چکیده

The continuous ranked probability score (crps) is the most commonly used scoring rule in the evaluation of probabilistic forecasts for real-valued outcomes. To assess and rank forecasting methods, researchers compute the mean crps over given sets of forecast situations, based on the respective predictive distributions and outcomes. We propose a new, isotonicity-based decomposition of the mean crps into interpretable components that quantify miscalibration (MSC), discrimination ability (DSC), and uncertainty (UNC), respectively. In a detailed theoretical analysis, we compare the new approach to empirical decompositions proposed earlier, generalize to population versions, analyse their properties and relationships, and relate to a hierarchy of notions of calibration. The isotonicity-based decomposition guarantees the nonnegativity of the components and quantifies calibration in a sense that is stronger than for other types of decompositions, subject to the nondegeneracy of empirical decompositions. We illustrate the usage of the isotonicity-based decomposition in case studies from weather prediction and machine learning.

چکیده به فارسی (ترجمه ماشینی)

نمره احتمالی رده بندی مداوم (CRPS) رایج ترین قانون امتیاز دهی در ارزیابی پیش بینی های احتمالی برای نتایج با ارزش واقعی است.برای ارزیابی و رتبه بندی روشهای پیش بینی ، محققان میانگین CRP ها را بر اساس توزیع و نتایج پیش بینی شده مربوطه ، مجموعه CRP ها را بر اساس مجموعه های مورد نظر پیش بینی محاسبه می کنند.ما یک تجزیه جدید و مبتنی بر ایزوتونیک از میانگین CRPS را به مؤلفه های قابل تفسیر ارائه می دهیم که به ترتیب اندازه گیری نادرست (MSC) ، توانایی تبعیض (DSC) و عدم اطمینان (UNC) را تعیین می کنیم.در یک تحلیل نظری مفصل ، ما رویکرد جدید را در مورد تجزیه تجربی که قبلاً ارائه شده بود ، مقایسه می کنیم ، به نسخه های جمعیتی تعمیم می دهیم ، خصوصیات و روابط آنها را تجزیه و تحلیل می کنیم و به سلسله مراتب مفاهیم کالیبراسیون مربوط می شویم.تجزیه مبتنی بر ایزوتونیت ، عدم توجه به مؤلفه ها را تضمین می کند و کالیبراسیون را به معنای قوی تر از سایر انواع تجزیه ، منوط به عدم تجزیه و تحلیل تجزیه های تجربی می کند.ما استفاده از تجزیه مبتنی بر ایزوتونیک را در مطالعات موردی از پیش بینی آب و هوا و یادگیری ماشین نشان می دهیم.