مقاله RankFeat & Rankweight: حذف ویژگی/وزن رتبه-1 برای تشخیص خارج از توزیع

چکیده

The task of out-of-distribution (OOD) detection is crucial for deploying machine learning models in real-world settings. In this paper, we observe that the singular value distributions of the in-distribution (ID) and OOD features are quite different: the OOD feature matrix tends to have a larger dominant singular value than the ID feature, and the class predictions of OOD samples are largely determined by it. This observation motivates us to propose \texttt{RankFeat}, a simple yet effective \emph{post hoc} approach for OOD detection by removing the rank-1 matrix composed of the largest singular value and the associated singular vectors from the high-level feature. \texttt{RankFeat} achieves \emph{state-of-the-art} performance and reduces the average false positive rate (FPR95) by 17.90\% compared with the previous best method. The success of \texttt{RankFeat} motivates us to investigate whether a similar phenomenon would exist in the parameter matrices of neural networks. We thus propose \texttt{RankWeight} which removes the rank-1 weight from the parameter matrices of a single deep layer. Our \texttt{RankWeight}is also \emph{post hoc} and only requires computing the rank-1 matrix once. As a standalone approach, \texttt{RankWeight} has very competitive performance against other methods across various backbones. Moreover, \texttt{RankWeight} enjoys flexible compatibility with a wide range of OOD detection methods. The combination of \texttt{RankWeight} and \texttt{RankFeat} refreshes the new \emph{state-of-the-art} performance, achieving the FPR95 as low as 16.13\% on the ImageNet-1k benchmark. Extensive ablation studies and comprehensive theoretical analyses are presented to support the empirical results.

چکیده به فارسی (ترجمه ماشینی)

وظیفه تشخیص خارج از توزیع (OOD) برای استقرار مدل های یادگیری ماشین در تنظیمات دنیای واقعی بسیار مهم است.در این مقاله ، ما مشاهده می کنیم که توزیع ارزش مفرد از ویژگی های توزیع (ID) و OOD کاملاً متفاوت است: ماتریس ویژگی OOD تمایل به یک مقدار مفرد غالب بزرگتر از ویژگی ID دارد و پیش بینی کلاس نمونه های OODتا حد زیادی توسط آن تعیین می شود.این مشاهده به ما انگیزه می دهد تا \ texttt {rankfeat} ، یک رویکرد ساده اما در عین حال مؤثر \ emf {post hoc} برای تشخیص ood با از بین بردن ماتریس رتبه 1 متشکل از بزرگترین ارزش مفرد و بردارهای مفرد مرتبط از ویژگی سطح بالابشر\ texttt {rankfeat} به دستیابی \ emph {Mater-of-Art} عملکرد و میانگین نرخ مثبت کاذب (FPR95) را با 17.90 \ در مقایسه با بهترین روش قبلی کاهش می دهد.موفقیت \ texttt {RankFeat} به ما انگیزه می دهد تا بررسی کنیم که آیا یک پدیده مشابه در ماتریس پارامتر شبکه های عصبی وجود دارد یا خیر.بنابراین ما \ texttt {Rankweight} را پیشنهاد می کنیم که وزن درجه 1 را از ماتریس پارامتر یک لایه عمیق جدا می کند.ما \ texttt {Rankweight} همچنین \ emph {post hoc} است و فقط نیاز به محاسبه ماتریس رتبه 1 دارد.به عنوان یک رویکرد مستقل ، \ Texttt {Rankweight} عملکرد بسیار رقابتی در برابر سایر روش ها در ستون فقرات مختلف دارد.علاوه بر این ، \ Texttt {Rankweight} از سازگاری انعطاف پذیر با طیف گسترده ای از روش های تشخیص OOD برخوردار است.ترکیبی از \ texttt {Rankweight} و \ texttt {RankFeat} عملکرد جدید \ emf atm {Mather-the-Art} را تازه می کند ، و به FPR95 به اندازه 16.13 \ ٪ در معیار Imagenet-1K می رسد.مطالعات گسترده فرسایش و تجزیه و تحلیل نظری جامع برای پشتیبانی از نتایج تجربی ارائه شده است.