ترجمه فارسی مقاله مساحت زیر منحنی ROC دارای ثابت ترین ارزیابی برای طبقه بندی باینری است

چکیده

Evaluation Metrics is an important question for model evaluation and model selection in binary classification tasks. This study investigates how consistent metrics are at evaluating different models under different data scenarios. Analyzing over 150 data scenarios and 18 model evaluation metrics using statistical simulation, I find that for binary classification tasks, evaluation metrics that are less influenced by prevalence offer more consistent ranking of a set of different models. In particular, Area Under the ROC Curve (AUC) has smallest variance in ranking of different models. Matthew’s correlation coefficient as a more strict measure of model performance has the second smallest variance. These patterns holds across a rich set of data scenarios and five commonly used machine learning models as well as a naive random guess model. The results have significant implications for model evaluation and model selection in binary classification tasks.

چکیده به فارسی (ترجمه ماشینی)

معیارهای ارزیابی یک سؤال مهم برای ارزیابی مدل و انتخاب مدل در کارهای طبقه بندی باینری است.این مطالعه به بررسی چگونگی معیارهای سازگار در ارزیابی مدلهای مختلف تحت سناریوهای مختلف داده می پردازد.با تجزیه و تحلیل بیش از 150 سناریو داده و 18 معیارهای ارزیابی مدل با استفاده از شبیه سازی آماری ، می فهمم که برای کارهای طبقه بندی باینری ، معیارهای ارزیابی که کمتر تحت تأثیر شیوع قرار می گیرند ، رتبه بندی سازگارتر تری از مجموعه ای از مدلهای مختلف را ارائه می دهند.به طور خاص ، مساحت تحت منحنی ROC (AUC) دارای کمترین واریانس در رتبه بندی مدلهای مختلف است.ضریب همبستگی متیو به عنوان یک اندازه گیری دقیق تر از عملکرد مدل ، دومین واریانس کوچک است.این الگوهای مجموعه ای غنی از سناریوهای داده و پنج مدل یادگیری ماشین متداول و همچنین یک مدل حدس تصادفی ساده و ساده را در خود جای داده است.نتایج دارای پیامدهای قابل توجهی برای ارزیابی مدل و انتخاب مدل در کارهای طبقه بندی باینری است.