مقاله استخراج همبستگی معنایی چند مقیاسی برای تشخیص مجدد شخص مادون قرمز قابل مشاهده

چکیده

The main challenge in the Visible-Infrared Person Re-Identification (VI-ReID) task lies in how to extract discriminative features from different modalities for matching purposes. While the existing well works primarily focus on minimizing the modal discrepancies, the modality information can not thoroughly be leveraged. To solve this problem, a Multi-scale Semantic Correlation Mining network (MSCMNet) is proposed to comprehensively exploit semantic features at multiple scales and simultaneously reduce modality information loss as small as possible in feature extraction. The proposed network contains three novel components. Firstly, after taking into account the effective utilization of modality information, the Multi-scale Information Correlation Mining Block (MIMB) is designed to explore semantic correlations across multiple scales. Secondly, in order to enrich the semantic information that MIMB can utilize, a quadruple-stream feature extractor (QFE) with non-shared parameters is specifically designed to extract information from different dimensions of the dataset. Finally, the Quadruple Center Triplet Loss (QCT) is further proposed to address the information discrepancy in the comprehensive features. Extensive experiments on the SYSU-MM01, RegDB, and LLCM datasets demonstrate that the proposed MSCMNet achieves the greatest accuracy.

چکیده به فارسی (ترجمه ماشینی)

چالش اصلی در کار شناسایی مجدد شخص مادون قرمز قابل مشاهده (VI-ReID) در نحوه استخراج ویژگی های تبعیض آمیز از روشهای مختلف برای اهداف تطبیق نهفته است.در حالی که چاه موجود در درجه اول روی به حداقل رساندن اختلافات مودال متمرکز است ، اطلاعات روش به طور کامل قابل استفاده نیست.برای حل این مشکل ، یک شبکه معدن معنایی چند مقیاس (MSCMNET) برای بهره برداری جامع از ویژگی های معنایی در مقیاس های مختلف و همزمان کاهش اطلاعات روش در حد ممکن در استخراج ویژگی ها پیشنهاد شده است.شبکه پیشنهادی شامل سه مؤلفه جدید است.در مرحله اول ، پس از در نظر گرفتن استفاده مؤثر از اطلاعات روش ، بلوک معدن سازی اطلاعات چند مقیاس (MIMB) برای کشف همبستگی های معنایی در مقیاس های مختلف طراحی شده است.ثانیا ، به منظور غنی سازی اطلاعات معنایی که MIMB می تواند از آن استفاده کند ، یک استخراج کننده ویژگی چهار برابر (QFE) با پارامترهای غیر مشترک به طور خاص برای استخراج اطلاعات از ابعاد مختلف مجموعه داده طراحی شده است.سرانجام ، از دست دادن سه گانه مرکز Quadruple (QCT) برای پرداختن به اختلاف اطلاعات در ویژگی های جامع پیشنهاد شده است.آزمایش های گسترده در مجموعه داده های SYSU-MM01 ، REGDB و LLCM نشان می دهد که MSCMNET پیشنهادی به بیشترین دقت دست پیدا می کند.