ترجمه فارسی مقاله مدل U-Net با توجه نرم-سخت و مجموعه داده معیار برای حذف سایه تصویر چندمقیاسی

چکیده

Effective shadow removal is pivotal in enhancing the visual quality of images in various applications, ranging from computer vision to digital photography. During the last decades physics and machine learning -based methodologies have been proposed; however, most of them have limited capacity in capturing complex shadow patterns due to restrictive model assumptions, neglecting the fact that shadows usually appear at different scales. Also, current datasets used for benchmarking shadow removal are composed of a limited number of images with simple scenes containing mainly uniform shadows cast by single objects, whereas only a few of them include both manual shadow annotations and paired shadow-free images. Aiming to address all these limitations in the context of natural scene imaging, including urban environments with complex scenes, the contribution of this study is twofold: a) it proposes a novel deep learning architecture, named Soft-Hard Attention U-net (SHAU), focusing on multiscale shadow removal; b) it provides a novel synthetic dataset, named Multiscale Shadow Removal Dataset (MSRD), containing complex shadow patterns of multiple scales, aiming to serve as a privacy-preserving dataset for a more comprehensive benchmarking of future shadow removal methodologies. Key architectural components of SHAU are the soft and hard attention modules, which along with multiscale feature extraction blocks enable effective shadow removal of different scales and intensities. The results demonstrate the effectiveness of SHAU over the relevant state-of-the-art shadow removal methods across various benchmark datasets, improving the Peak Signal-to-Noise Ratio and Root Mean Square Error for the shadow area by 25.1% and 61.3%, respectively.

چکیده به فارسی (ترجمه ماشینی)

حذف موثر سایه در افزایش کیفیت بصری تصاویر در برنامه های مختلف ، از دید رایانه گرفته تا عکاسی دیجیتال بسیار مهم است.طی دهه های گذشته روشهای مبتنی بر فیزیک و یادگیری ماشین ارائه شده است.با این حال ، بسیاری از آنها از ظرفیت محدود در ضبط الگوهای سایه پیچیده به دلیل فرضیات محدود کننده مدل برخوردار هستند و از این واقعیت که سایه ها معمولاً در مقیاس های مختلف ظاهر می شوند ، غفلت می کنند.همچنین ، مجموعه داده های فعلی مورد استفاده برای حذف سایه معیار از تعداد محدودی از تصاویر با صحنه های ساده حاوی سایه های عمدتا یکنواخت که توسط اشیاء منفرد بازی می شوند ، تشکیل شده اند ، در حالی که فقط تعداد کمی از آنها شامل هر دو حاشیه نویسی سایه دستی و تصاویر بدون سایه هستند.با هدف پرداختن به همه این محدودیت ها در زمینه تصویربرداری از صحنه های طبیعی ، از جمله محیط های شهری با صحنه های پیچیده ، سهم این مطالعه دو برابر است: الف) این یک معماری جدید یادگیری عمیق ، با نام u-net u-net را ارائه می دهد (shau)، با تمرکز بر حذف سایه چند طبقه ؛ب) این مجموعه داده مصنوعی جدید ، به نام مجموعه داده حذف سایه چند مقیاس (MSRD) را ارائه می دهد ، که حاوی الگوهای سایه پیچیده ای از مقیاس های مختلف است ، با هدف استفاده به عنوان یک مجموعه داده حفظ حریم خصوصی برای معیار جامع تر روشهای حذف سایه های آینده.مؤلفه های اصلی معماری Shau ماژول های توجه نرم و سخت هستند که به همراه بلوک های استخراج ویژگی چند مقیاس ، باعث می شوند سایه موثر مقیاس ها و شدت های مختلف را حذف کنند.نتایج نشان می دهد که اثربخشی Shau نسبت به روشهای پیشرفته حذف سایه های مربوطه در مجموعه داده های معیار مختلف ، بهبود نسبت اوج سیگنال به نویز و میانگین خطای ریشه برای منطقه سایه 25.1 ٪ و 61.3 ٪ ،به ترتیب