مقاله برچسب زدن بازنمودهای عصبی با تشخیص معکوس

چکیده

Deep Neural Networks (DNNs) demonstrated remarkable capabilities in learning complex hierarchical data representations, but the nature of these representations remains largely unknown. Existing global explainability methods, such as Network Dissection, face limitations such as reliance on segmentation masks, lack of statistical significance testing, and high computational demands. We propose Inverse Recognition (INVERT), a scalable approach for connecting learned representations with human-understandable concepts by leveraging their capacity to discriminate between these concepts. In contrast to prior work, INVERT is capable of handling diverse types of neurons, exhibits less computational complexity, and does not rely on the availability of segmentation masks. Moreover, INVERT provides an interpretable metric assessing the alignment between the representation and its corresponding explanation and delivering a measure of statistical significance, emphasizing its utility and credibility. We demonstrate the applicability of INVERT in various scenarios, including the identification of representations affected by spurious correlations, and the interpretation of the hierarchical structure of decision-making within the models.

چکیده به فارسی (ترجمه ماشینی)

شبکه های عصبی عمیق (DNNS) توانایی های قابل توجهی در یادگیری بازنمایی داده های سلسله مراتبی پیچیده را نشان دادند ، اما ماهیت این بازنمودها تا حد زیادی ناشناخته است.روشهای توضیح جهانی موجود ، مانند شکاف شبکه ، محدودیت های چهره مانند اتکا به ماسک های تقسیم بندی ، عدم آزمایش اهمیت آماری و تقاضای محاسباتی بالا.ما با استفاده از ظرفیت آنها برای تبعیض بین این مفاهیم ، یک رویکرد مقیاس پذیر برای ارتباط بازنمایی های آموخته شده با مفاهیم قابل درک انسان را پیشنهاد می کنیم.بر خلاف کار قبلی ، اینورت قادر به رسیدگی به انواع متنوع نورون ها است ، پیچیدگی محاسباتی کمتری را نشان می دهد و به در دسترس بودن ماسک های تقسیم بندی متکی نیست.علاوه بر این ، Invert یک متریک قابل تفسیر را ارزیابی می کند که تراز بین نمایندگی و توضیحات مربوطه را ارزیابی می کند و اندازه گیری اهمیت آماری را با تأکید بر ابزار و اعتبار آن ارائه می دهد.ما کاربرد معکوس در سناریوهای مختلف ، از جمله شناسایی بازنمایی های تحت تأثیر همبستگی های فریبنده و تفسیر ساختار سلسله مراتبی تصمیم گیری را در مدل ها نشان می دهیم.