مقاله تغییر تشخیص بین تصاویر سنجش از دور نوری و داده های نقشه از طریق مدل Segment Anything (SAM)

چکیده

Unsupervised multimodal change detection is pivotal for time-sensitive tasks and comprehensive multi-temporal Earth monitoring. In this study, we explore unsupervised multimodal change detection between two key remote sensing data sources: optical high-resolution imagery and OpenStreetMap (OSM) data. Specifically, we propose to utilize the vision foundation model Segmentation Anything Model (SAM), for addressing our task. Leveraging SAM’s exceptional zero-shot transfer capability, high-quality segmentation maps of optical images can be obtained. Thus, we can directly compare these two heterogeneous data forms in the so-called segmentation domain. We then introduce two strategies for guiding SAM’s segmentation process: the ‘no-prompt’ and ‘box/mask prompt’ methods. The two strategies are designed to detect land-cover changes in general scenarios and to identify new land-cover objects within existing backgrounds, respectively. Experimental results on three datasets indicate that the proposed approach can achieve more competitive results compared to representative unsupervised multimodal change detection methods.

چکیده به فارسی (ترجمه ماشینی)

تشخیص تغییر چند مدلی بدون نظارت برای کارهای حساس به زمان و نظارت جامع چند زمانه زمین محوری است.در این مطالعه ، ما تشخیص تغییر چند حالته بدون نظارت بین دو منبع داده سنجش از راه دور را بررسی می کنیم: تصاویر با وضوح بالا نوری و داده های OpenStreetMap (OSM).به طور خاص ، ما پیشنهاد می کنیم از مدل تقسیم بندی مدل Vision Foundation Model (SAM) برای پرداختن به وظیفه خود استفاده کنیم.با استفاده از قابلیت انتقال صفر استثنایی SAM ، نقشه های تقسیم بندی با کیفیت بالا از تصاویر نوری قابل دستیابی است.بنابراین ، ما می توانیم مستقیماً این دو شکل داده ناهمگن را در حوزه به اصطلاح تقسیم بندی مقایسه کنیم.سپس ما دو استراتژی را برای هدایت فرآیند تقسیم بندی سام معرفی می کنیم: روش های “بدون تقویتی” و “جعبه/ماسک سریع”.این دو استراتژی برای تشخیص تغییرات پوشش زمین در سناریوهای عمومی و شناسایی اشیاء جدید پوشش زمین در پیشینه های موجود طراحی شده است.نتایج تجربی در سه مجموعه داده نشان می دهد که رویکرد پیشنهادی می تواند در مقایسه با روشهای تشخیص تغییر چند مدلی بدون نظارت ، نتایج رقابتی تری بدست آورد.