مقاله عدم قطعیت طبقه: مقیاسی برای کاهش عدم تعادل طبقه

چکیده

Class-wise characteristics of training examples affect the performance of deep classifiers. A well-studied example is when the number of training examples of classes follows a long-tailed distribution, a situation that is likely to yield sub-optimal performance for under-represented classes. This class imbalance problem is conventionally addressed by approaches relying on the class-wise cardinality of training examples, such as data resampling. In this paper, we demonstrate that considering solely the cardinality of classes does not cover all issues causing class imbalance. To measure class imbalance, we propose “Class Uncertainty” as the average predictive uncertainty of the training examples, and we show that this novel measure captures the differences across classes better than cardinality. We also curate SVCI-20 as a novel dataset in which the classes have equal number of training examples but they differ in terms of their hardness; thereby causing a type of class imbalance which cannot be addressed by the approaches relying on cardinality. We incorporate our “Class Uncertainty” measure into a diverse set of ten class imbalance mitigation methods to demonstrate its effectiveness on long-tailed datasets as well as on our SVCI-20. Code and datasets will be made available.

چکیده به فارسی (ترجمه ماشینی)

ویژگی های کلاس عاقلانه نمونه های آموزش بر عملکرد طبقه بندی های عمیق تأثیر می گذارد.یک مثال خوب مورد مطالعه وقتی است که تعداد نمونه های آموزش کلاس ها از توزیع طولانی مدت پیروی می کنند ، وضعیتی که احتمالاً عملکرد زیر بهینه را برای کلاسهای زیر نمایندگی ارائه می دهد.این مشکل عدم تعادل کلاس به طور معمول با رویکردهای متکی به کاردینال بودن کلاس از مثالهای آموزش ، مانند نمونه برداری داده ها ، مورد بررسی قرار می گیرد.در این مقاله ، ما نشان می دهیم که با در نظر گرفتن صرفاً کاردینال بودن کلاس ها ، همه مسائل مربوط به عدم تعادل کلاس را پوشش نمی دهد.برای اندازه گیری عدم تعادل کلاس ، ما “عدم اطمینان کلاس” را به عنوان متوسط عدم اطمینان پیش بینی کننده نمونه های آموزش پیشنهاد می کنیم ، و ما نشان می دهیم که این اندازه گیری جدید تفاوت ها را در کلاس ها بهتر از کاردینالیت ضبط می کند.ما همچنین SVCI-20 را به عنوان یک مجموعه داده جدید که در آن کلاس ها تعداد برابر از نمونه های آموزشی دارند ، استفاده می کنیم اما از نظر سختی آنها متفاوت هستند.بدین ترتیب نوعی عدم تعادل کلاس ایجاد می شود که با رویکردهای متکی به کاردینال بودن قابل توجه نیست.ما اندازه گیری “عدم اطمینان کلاس” خود را در مجموعه متنوعی از ده روش کاهش عدم تعادل کلاس برای نشان دادن اثربخشی آن در مجموعه داده های بلند و همچنین در SVCI-20 ما گنجانیده ایم.کد و مجموعه داده ها در دسترس خواهند بود.