ترجمه فارسی مقاله ارزیابی احتمالات پسین: نظریه تصمیم‌گیری، قوانین امتیازدهی مناسب و کالیبراسیون

چکیده

Most machine learning classifiers are designed to output posterior probabilities for the classes given the input sample. These probabilities may be used to make the categorical decision on the class of the sample; provided as input to a downstream system; or provided to a human for interpretation. Evaluating the quality of the posteriors generated by these system is an essential problem which was addressed decades ago with the invention of proper scoring rules (PSRs). Unfortunately, much of the recent machine learning literature uses calibration metrics — most commonly, the expected calibration error (ECE) — as a proxy to assess posterior performance. The problem with this approach is that calibration metrics reflect only one aspect of the quality of the posteriors, ignoring the discrimination performance. For this reason, we argue that calibration metrics should play no role in the assessment of posterior quality. Expected PSRs should instead be used for this job, preferably normalized for ease of interpretation. In this work, we first give a brief review of PSRs from a practical perspective, motivating their definition using Bayes decision theory. We discuss why expected PSRs provide a principled measure of the quality of a system’s posteriors and why calibration metrics are not the right tool for this job. We argue that calibration metrics, while not useful for performance assessment, may be used as diagnostic tools during system development. With this purpose in mind, we discuss a simple and practical calibration metric, called calibration loss, derived from a decomposition of expected PSRs. We compare this metric with the ECE and with the expected score divergence calibration metric from the PSR literature and argue, using theoretical and empirical evidence, that calibration loss is superior to these two metrics.

چکیده به فارسی (ترجمه ماشینی)

بیشتر طبقه بندی کننده های یادگیری ماشین به گونه ای طراحی شده اند که با توجه به نمونه ورودی ، احتمالات خلفی را برای کلاس ها تولید می کنند.این احتمالات ممکن است برای تصمیم گیری طبقه بندی شده در کلاس نمونه استفاده شود.به عنوان ورودی به سیستم پایین دست ارائه شده است.یا برای تفسیر به انسان ارائه شده است.ارزیابی کیفیت فرزندان ایجاد شده توسط این سیستم یک مشکل اساسی است که دهه ها پیش با اختراع قوانین امتیاز دهی مناسب (PSR) مورد بررسی قرار گرفت.متأسفانه ، بسیاری از ادبیات اخیر یادگیری ماشین از معیارهای کالیبراسیون – که معمولاً ، خطای کالیبراسیون مورد انتظار (ECE) – به عنوان یک پروکسی برای ارزیابی عملکرد خلفی استفاده می کند.مشکل این رویکرد این است که معیارهای کالیبراسیون تنها یک جنبه از کیفیت خلفی را منعکس می کند و عملکرد تبعیض را نادیده می گیرد.به همین دلیل ، ما استدلال می کنیم که معیارهای کالیبراسیون نباید نقشی در ارزیابی کیفیت خلفی داشته باشد.PSR های مورد انتظار باید در عوض برای این شغل مورد استفاده قرار گیرند ، ترجیحاً برای سهولت در تفسیر نرمال شوند.در این کار ، ما ابتدا یک بررسی مختصر از PSR ها را از منظر عملی ارائه می دهیم ، و با ایجاد نظریه تصمیم گیری Bayes ، تعریف آنها را ایجاد می کنیم.ما بحث می کنیم که چرا PSR های مورد انتظار یک اندازه گیری اصولی از کیفیت خلفی سیستم را ارائه می دهند و چرا معیارهای کالیبراسیون ابزار مناسبی برای این شغل نیست.ما استدلال می کنیم که معیارهای کالیبراسیون ، در حالی که برای ارزیابی عملکرد مفید نیست ، ممکن است در طول توسعه سیستم به عنوان ابزارهای تشخیصی مورد استفاده قرار گیرد.با توجه به این هدف ، ما در مورد یک متریک کالیبراسیون ساده و عملی ، به نام از دست دادن کالیبراسیون ، ناشی از تجزیه PSR های مورد انتظار بحث می کنیم.ما این متریک را با ECE مقایسه می کنیم و با متریک کالیبراسیون واگرایی نمره مورد انتظار از ادبیات PSR استفاده می کنیم و استدلال می کنیم ، با استفاده از شواهد نظری و تجربی ، که از دست دادن کالیبراسیون نسبت به این دو معیار برتر است.