مقاله ISNet سریعتر برای کاهش سوگیری پس زمینه در شبکه های عصبی عمیق

چکیده

Image background features can constitute background bias (spurious correlations) and impact deep classifiers decisions, causing shortcut learning (Clever Hans effect) and reducing the generalization skill on real-world data. The concept of optimizing Layer-wise Relevance Propagation (LRP) heatmaps, to improve classifier behavior, was recently introduced by a neural network architecture named ISNet. It minimizes background relevance in LRP maps, to mitigate the influence of image background features on deep classifiers decisions, hindering shortcut learning and improving generalization. For each training image, the original ISNet produces one heatmap per possible class in the classification task, hence, its training time scales linearly with the number of classes. Here, we introduce reformulated architectures that allow the training time to become independent from this number, rendering the optimization process much faster. We challenged the enhanced models utilizing the MNIST dataset with synthetic background bias, and COVID-19 detection in chest X-rays, an application that is prone to shortcut learning due to background bias. The trained models minimized background attention and hindered shortcut learning, while retaining high accuracy. Considering external (out-of-distribution) test datasets, they consistently proved more accurate than multiple state-of-the-art deep neural network architectures, including a dedicated image semantic segmenter followed by a classifier. The architectures presented here represent a potentially massive improvement in training speed over the original ISNet, thus introducing LRP optimization into a gamut of applications that could not be feasibly handled by the original model.

چکیده به فارسی (ترجمه ماشینی)

ویژگی های پس زمینه تصویر می تواند تعصب پس زمینه (همبستگی های فریبنده) را تشکیل دهد و بر تصمیمات طبقه بندی عمیق تأثیر بگذارد و باعث یادگیری میانبر (اثر هوشمندانه هانس) و کاهش مهارت تعمیم در داده های دنیای واقعی شود.مفهوم بهینه سازی انتشار ارتباط با لایه (LRP) نقشه های گرما ، برای بهبود رفتار طبقه بندی کننده ، اخیراً توسط یک معماری شبکه عصبی به نام ISNET معرفی شده است.این امر اهمیت پس زمینه را در نقشه های LRP به حداقل می رساند ، تا تأثیر ویژگی های پس زمینه تصویر را در تصمیمات طبقه بندی عمیق ، مانع یادگیری میانبر و بهبود تعمیم کند.برای هر تصویر آموزشی ، ISNET اصلی در کار طبقه بندی یک نقشه گرما در هر کلاس ممکن تولید می کند ، از این رو ، زمان آموزش آن به صورت خطی با تعداد کلاس ها می شود.در اینجا ، ما معماری های اصلاح شده را معرفی می کنیم که به زمان آموزش اجازه می دهد تا از این تعداد مستقل شود و روند بهینه سازی را بسیار سریعتر می کند.ما مدلهای پیشرفته را با استفاده از مجموعه داده MNIST با تعصب پس زمینه مصنوعی و تشخیص COVID-19 در پرتوهای X قفسه سینه به چالش کشیدیم ، برنامه ای که به دلیل تعصب پس زمینه مستعد یادگیری میانبر است.مدلهای آموزش دیده توجه پس زمینه را به حداقل می رساند و در حالی که دقت بالایی را حفظ می کند ، مانع یادگیری میانبر می شود.با توجه به مجموعه داده های آزمون خارجی (خارج از توزیع) ، آنها به طور مداوم دقیق تر از معماری های مختلف شبکه های عصبی عمیق و پیشرفته ، از جمله یک بخش معنایی تصویر اختصاصی و به دنبال آن طبقه بندی کننده بودند.معماری های ارائه شده در اینجا نشان دهنده پیشرفت بالقوه گسترده در سرعت آموزش نسبت به ISNET اصلی است ، بنابراین بهینه سازی LRP را به یک برنامه از برنامه هایی معرفی می کند که نمی توانند توسط مدل اصلی قابل استفاده باشند.