مقاله حاضر به بررسی روش نوینی برای ارزیابی میزان خسارت وارد شده به ساختمان‌ها پس از وقوع حوادث طبیعی یا سایر رویدادهای مخرب می‌پردازد. این روش که مبتنی بر معماری ترنسفورمر سیامی دو وظیفه‌ای (Dual-Tasks Siamese Transformer) است، با استفاده از تصاویر ماهواره‌ای قبل و بعد از واقعه، قادر است اطلاعات دقیق و جزئی‌تری در مورد سطح خسارت وارد شده به ساختمان‌ها ارائه دهد. این اطلاعات برای سازمان‌های امدادی و پاسخگویی به بحران بسیار حیاتی بوده و می‌تواند در تسریع فرآیند امدادرسانی و کاهش خسارات ناشی از این حوادث نقش مهمی ایفا کند.

این مقاله توسط گروهی از محققان به نام‌های Hongruixuan Chen, Edoardo Nemni, Sofia Vallecorsa, Xi Li, Chen Wu, Lars Bromley به نگارش درآمده است. نویسندگان این مقاله در زمینه‌های مختلف از جمله بینایی کامپیوتر، یادگیری ماشین، پردازش تصویر و ویدئو تخصص دارند و تلاش کرده‌اند تا با بهره‌گیری از آخرین دستاوردهای این حوزه‌ها، راهکاری کارآمد برای ارزیابی خسارات ساختمانی ارائه دهند.

زمینه تحقیقاتی این مقاله در حوزه پردازش تصاویر سنجش از دور (Remote Sensing Image Processing) و به طور خاص، ارزیابی خسارات پس از وقوع حوادث است. این حوزه به دلیل اهمیت کاربردی آن در مدیریت بحران و امدادرسانی، همواره مورد توجه محققان بوده است.

چکیده مقاله به این موضوع اشاره دارد که اطلاعات دقیق و جزئی در مورد میزان خسارت وارد شده به ساختمان‌ها برای امدادرسانی و پاسخگویی به بحران‌ها ضروری است. با این حال، شبکه‌های عصبی کانولوشن (CNNs) که به طور معمول در تفسیر تصاویر سنجش از دور مورد استفاده قرار می‌گیرند، در مدل‌سازی روابط غیرمحلی بین پیکسل‌ها با محدودیت‌هایی مواجه هستند. به همین دلیل، در این مقاله، معماری ترنسفورمر (Transformer) که در ابتدا برای مدل‌سازی وابستگی‌های طولانی‌مدت در پردازش زبان طبیعی (NLP) مطرح شد، به عنوان جایگزینی مناسب برای CNNها در نظر گرفته شده است.

نویسندگان در این مقاله، اولین تلاش خود را برای طراحی یک معماری مبتنی بر ترنسفورمر برای ارزیابی خسارت (DamFormer) ارائه داده‌اند. در این معماری، از یک رمزگذار ترنسفورمر سیامی (Siamese Transformer encoder) برای استخراج ویژگی‌های عمیق و غیرمحلی از تصاویر چندزمانی (multitemporal) استفاده می‌شود. سپس، یک ماژول ادغام چندزمانی (multitemporal fusion module) برای ترکیب اطلاعات مربوط به زمان‌های مختلف طراحی شده است. در نهایت، یک رمزگشای سبک وزن دو وظیفه‌ای (lightweight dual-tasks decoder) ویژگی‌های چندسطحی را برای پیش‌بینی نهایی تجمیع می‌کند. نتایج تجربی بر روی مجموعه داده بزرگ ارزیابی خسارت xBD، پتانسیل بالای معماری مبتنی بر ترنسفورمر را نشان می‌دهد.

به طور خلاصه، این مقاله یک روش جدید و مبتنی بر ترنسفورمر را برای ارزیابی خسارت ساختمان‌ها پس از وقوع حوادث ارائه می‌دهد. این روش با استفاده از تصاویر چندزمانی و یک معماری دو وظیفه‌ای، قادر است اطلاعات دقیق و جزئی‌تری در مورد سطح خسارت وارد شده به ساختمان‌ها ارائه دهد.

روش‌شناسی تحقیق در این مقاله بر پایه طراحی و پیاده‌سازی یک معماری جدید به نام DamFormer است. این معماری از سه بخش اصلی تشکیل شده است:

• رمزگذار ترنسفورمر سیامی: این بخش مسئول استخراج ویژگی‌های عمیق و غیرمحلی از تصاویر چندزمانی قبل و بعد از وقوع حادثه است. استفاده از معماری سیامی به مدل این امکان را می‌دهد تا تفاوت‌های بین تصاویر قبل و بعد از حادثه را به خوبی تشخیص دهد.
• ماژول ادغام چندزمانی: این بخش اطلاعات استخراج شده از تصاویر مختلف در زمان‌های مختلف را با یکدیگر ادغام می‌کند. این ادغام به مدل کمک می‌کند تا درک بهتری از تغییرات ایجاد شده در ساختمان‌ها داشته باشد.
• رمزگشای سبک وزن دو وظیفه‌ای: این بخش ویژگی‌های چندسطحی را برای پیش‌بینی نهایی تجمیع می‌کند. استفاده از یک رمزگشای دو وظیفه‌ای به مدل این امکان را می‌دهد تا به طور همزمان دو وظیفه مختلف را انجام دهد: 1) تشخیص وجود خسارت و 2) تعیین میزان خسارت.

علاوه بر طراحی معماری DamFormer، نویسندگان از مجموعه داده بزرگ xBD برای آموزش و ارزیابی مدل خود استفاده کرده‌اند. این مجموعه داده شامل تصاویر ماهواره‌ای از ساختمان‌ها قبل و بعد از وقوع حوادث مختلف است. نویسندگان با استفاده از این مجموعه داده، توانسته‌اند مدل خود را به طور موثر آموزش داده و عملکرد آن را در شرایط واقعی ارزیابی کنند.

به عنوان مثال، فرض کنید تصویر یک ساختمان قبل از زلزله و تصویر همان ساختمان بعد از زلزله در اختیار داریم. رمزگذار ترنسفورمر سیامی این تصاویر را به ویژگی‌هایی تبدیل می‌کند که تفاوت‌های بین آن‌ها را برجسته می‌کند. سپس، ماژول ادغام چندزمانی این ویژگی‌ها را با هم ترکیب می‌کند تا یک نمایش جامع از تغییرات ایجاد شده در ساختمان به دست آید. در نهایت، رمزگشای دو وظیفه‌ای با تحلیل این نمایش، وجود یا عدم وجود خسارت و همچنین میزان خسارت وارد شده را پیش‌بینی می‌کند.

یافته‌های کلیدی این تحقیق نشان می‌دهد که معماری DamFormer می‌تواند به طور قابل توجهی عملکرد ارزیابی خسارت ساختمان‌ها را بهبود بخشد. این معماری در مقایسه با روش‌های سنتی مبتنی بر CNN، قادر است اطلاعات دقیق‌تر و جزئی‌تری در مورد سطح خسارت وارد شده به ساختمان‌ها ارائه دهد.

نتایج تجربی بر روی مجموعه داده xBD نشان می‌دهد که DamFormer به دقت بالاتری در تشخیص و تعیین میزان خسارت دست یافته است. این امر به دلیل توانایی بالای معماری ترنسفورمر در مدل‌سازی روابط غیرمحلی بین پیکسل‌ها و همچنین استفاده از یک رمزگشای دو وظیفه‌ای است که به طور همزمان دو وظیفه مختلف را انجام می‌دهد.

یکی از یافته‌های جالب این تحقیق این است که DamFormer در شرایطی که میزان خسارت کم است، عملکرد بهتری نسبت به روش‌های سنتی دارد. این امر به دلیل توانایی بالای معماری ترنسفورمر در تشخیص تغییرات جزئی در تصاویر است.

کاربردهای این تحقیق بسیار گسترده است و می‌تواند در زمینه‌های مختلفی از جمله مدیریت بحران، امدادرسانی، بیمه و بازسازی پس از حادثه مورد استفاده قرار گیرد.

• مدیریت بحران و امدادرسانی: اطلاعات دقیق در مورد میزان خسارت وارد شده به ساختمان‌ها می‌تواند به سازمان‌های امدادی کمک کند تا منابع خود را به طور موثرتری تخصیص داده و فرآیند امدادرسانی را تسریع کنند.
• بیمه: شرکت‌های بیمه می‌توانند از این روش برای ارزیابی دقیق‌تر خسارات وارد شده به ساختمان‌ها و پرداخت خسارت به بیمه‌گذاران استفاده کنند.
• بازسازی پس از حادثه: اطلاعات دقیق در مورد میزان خسارت وارد شده به ساختمان‌ها می‌تواند به برنامه‌ریزان شهری و مهندسان کمک کند تا برنامه‌های بازسازی را به طور موثرتری طراحی و اجرا کنند.

یکی از دستاوردهای مهم این تحقیق، ارائه یک معماری جدید و مبتنی بر ترنسفورمر برای ارزیابی خسارت ساختمان‌ها است. این معماری می‌تواند به عنوان یک نقطه شروع برای تحقیقات آینده در این زمینه مورد استفاده قرار گیرد.

در مجموع، مقاله “چارچوب ترنسفورمر سیامی دو وظیفه‌ای برای ارزیابی خسارت ساختمان” یک تحقیق ارزشمند و نوآورانه است که راهکاری کارآمد برای ارزیابی خسارات ساختمانی پس از وقوع حوادث ارائه می‌دهد. این روش با استفاده از معماری ترنسفورمر و تصاویر چندزمانی، قادر است اطلاعات دقیق و جزئی‌تری در مورد سطح خسارت وارد شده به ساختمان‌ها ارائه دهد. یافته‌های این تحقیق می‌تواند در زمینه‌های مختلفی از جمله مدیریت بحران، امدادرسانی، بیمه و بازسازی پس از حادثه مورد استفاده قرار گیرد و به بهبود عملکرد این حوزه‌ها کمک کند.

با توجه به نتایج امیدوارکننده این تحقیق، می‌توان انتظار داشت که در آینده شاهد استفاده گسترده‌تری از معماری‌های مبتنی بر ترنسفورمر در زمینه پردازش تصاویر سنجش از دور و به طور خاص، ارزیابی خسارات پس از وقوع حوادث باشیم. این امر می‌تواند به بهبود عملکرد سیستم‌های مدیریت بحران و امدادرسانی و کاهش خسارات ناشی از این حوادث کمک شایانی نماید.