مقاله بخش (تقریبا) هیچ چیز: حملات خصمانه آگنوستیک فوری به مدل های تقسیم بندی

چکیده

General purpose segmentation models are able to generate (semantic) segmentation masks from a variety of prompts, including visual (points, boxed, etc.) and textual (object names) ones. In particular, input images are pre-processed by an image encoder to obtain embedding vectors which are later used for mask predictions. Existing adversarial attacks target the end-to-end tasks, i.e. aim at altering the segmentation mask predicted for a specific image-prompt pair. However, this requires running an individual attack for each new prompt for the same image. We propose instead to generate prompt-agnostic adversarial attacks by maximizing the $\ell_2$-distance, in the latent space, between the embedding of the original and perturbed images. Since the encoding process only depends on the image, distorted image representations will cause perturbations in the segmentation masks for a variety of prompts. We show that even imperceptible $\ell_\infty$-bounded perturbations of radius $ε=1/255$ are often sufficient to drastically modify the masks predicted with point, box and text prompts by recently proposed foundation models for segmentation. Moreover, we explore the possibility of creating universal, i.e. non image-specific, attacks which can be readily applied to any input without further computational cost.

چکیده به فارسی (ترجمه ماشینی)

مدل های تقسیم بندی هدف کلی قادر به تولید ماسک های تقسیم بندی (معنایی) از انواع مختلفی از جمله بصری (نقاط ، جعبه و غیره) و متن (نام شی) هستند.به طور خاص ، تصاویر ورودی توسط یک رمزگذار تصویر برای به دست آوردن بردارهای تعبیه شده که بعداً برای پیش بینی ماسک استفاده می شوند ، از قبل پردازش می شوند.حملات مخالف موجود وظایف پایان به انتها را هدف قرار می دهد ، یعنی هدف از آن برای تغییر ماسک تقسیم بندی پیش بینی شده برای یک جفت خاص از تصویر است.با این حال ، این نیاز به اجرای یک حمله فردی برای هر سریع جدید برای همان تصویر دارد.ما در عوض پیشنهاد می کنیم که با به حداکثر رساندن مقاومت $ ell_2 $-در فضای نهفته ، بین تعبیه تصاویر اصلی و آشفته ، حملات مخالف آگنوستیک را ایجاد کنیم.از آنجا که فرآیند رمزگذاری فقط به تصویر بستگی دارد ، بازنمایی تصویر تحریف شده باعث ایجاد آشفتگی در ماسک های تقسیم بندی برای انواع مختلف می شود.ما نشان می دهیم که حتی آشفتگی های محدود شده $ el_ infty $ شعاع $ ε = 1/255 $ غالباً برای اصلاح چشمگیر ماسک های پیش بینی شده با مدلهای بنیادی پیشنهادی برای تقسیم بندی به طور چشمگیر کافی هستند.علاوه بر این ، ما امکان ایجاد حملات جهانی ، یعنی غیر تصویر خاص را بررسی می کنیم که می توانند بدون هزینه محاسباتی بیشتر برای هر ورودی اعمال شوند.