ترجمه فارسی مقاله فریب دادن SHAP با حملات مخلوط کردن خروجی

چکیده

Explainable AI~(XAI) methods such as SHAP can help discover feature attributions in black-box models. If the method reveals a significant attribution from a “protected feature” (e.g., gender, race) on the model output, the model is considered unfair. However, adversarial attacks can subvert the detection of XAI methods. Previous approaches to constructing such an adversarial model require access to underlying data distribution, which may not be possible in many practical scenarios. We relax this constraint and propose a novel family of attacks, called shuffling attacks, that are data-agnostic. The proposed attack strategies can adapt any trained machine learning model to fool Shapley value-based explanations. We prove that Shapley values cannot detect shuffling attacks. However, algorithms that estimate Shapley values, such as linear SHAP and SHAP, can detect these attacks with varying degrees of effectiveness. We demonstrate the efficacy of the attack strategies by comparing the performance of linear SHAP and SHAP using real-world datasets.

چکیده به فارسی (ترجمه ماشینی)

روشهای قابل توضیح AI ~ (XAI) مانند Shap می تواند به کشف ویژگی های ویژگی در مدل های جعبه سیاه کمک کند.اگر این روش یک ویژگی قابل توجه را از “ویژگی محافظت شده” (به عنوان مثال ، جنسیت ، نژاد) در خروجی مدل نشان دهد ، مدل ناعادلانه در نظر گرفته می شود.با این حال ، حملات مخالف می تواند تشخیص روش های XAI را خراب کند.رویکردهای قبلی برای ساخت چنین مدل مخالف ، نیاز به دسترسی به توزیع داده های اساسی دارد که ممکن است در بسیاری از سناریوهای عملی امکان پذیر نباشد.ما این محدودیت را آرام می کنیم و یک خانواده جدید از حملات به نام حملات Shuffling را پیشنهاد می کنیم که داده های آگنوستیک هستند.استراتژی های حمله پیشنهادی می تواند هر مدل یادگیری ماشین آموزش دیده را برای فریب توضیحات مبتنی بر ارزش Shapley تطبیق دهد.ما ثابت می کنیم که مقادیر شاپلی نمی تواند حملات تغییر شکل را تشخیص دهد.با این حال ، الگوریتم هایی که مقادیر Shapley را تخمین می زنند ، مانند Shap و Shap خطی ، می توانند این حملات را با درجات مختلف اثربخشی تشخیص دهند.ما با مقایسه عملکرد شکل خطی و شکل با استفاده از مجموعه داده های دنیای واقعی ، اثربخشی استراتژی های حمله را نشان می دهیم.