مقاله همجوشی استریو چند طیفی برای بازسازی صحنه 3D hyperspectral

چکیده

Spectral imaging enables the analysis of optical material properties that are invisible to the human eye. Different spectral capturing setups, e.g., based on filter-wheel, push-broom, line-scanning, or mosaic cameras, have been introduced in the last years to support a wide range of applications in agriculture, medicine, and industrial surveillance. However, these systems often suffer from different disadvantages, such as lack of real-time capability, limited spectral coverage or low spatial resolution. To address these drawbacks, we present a novel approach combining two calibrated multispectral real-time capable snapshot cameras, covering different spectral ranges, into a stereo-system. Therefore, a hyperspectral data-cube can be continuously captured. The combined use of different multispectral snapshot cameras enables both 3D reconstruction and spectral analysis. Both captured images are demosaicked avoiding spatial resolution loss. We fuse the spectral data from one camera into the other to receive a spatially and spectrally high resolution video stream. Experiments demonstrate the feasibility of this approach and the system is investigated with regard to its applicability for surgical assistance monitoring.

چکیده به فارسی (ترجمه ماشینی)

تصویربرداری طیفی ، تجزیه و تحلیل خواص ماده نوری را که برای چشم انسان نامرئی هستند امکان پذیر می کند.مجموعه های مختلف ضبط طیفی ، به عنوان مثال ، بر اساس چرخ های فیلتر ، فشار قوطی ، اسکن خط یا موزائیک ، در سالهای گذشته برای پشتیبانی از طیف گسترده ای از کاربردهای کشاورزی ، پزشکی و نظارت صنعتی معرفی شده است.با این حال ، این سیستم ها غالباً از معایب مختلفی مانند عدم توانایی در زمان واقعی ، پوشش طیفی محدود یا وضوح مکانی کم رنج می برند.برای پرداختن به این اشکالاتی ، ما یک رویکرد جدید با ترکیب دو دوربین عکس فوری با توان در زمان واقعی کالیبره شده ، که محدوده های طیفی مختلف را پوشش می دهد ، در یک سیستم استریو ارائه می دهیم.بنابراین ، یک-مکعب داده های ابرشخصی می تواند به طور مداوم ضبط شود.استفاده ترکیبی از دوربین های مختلف عکس فوری چند طیفی هم بازسازی سه بعدی و هم تجزیه و تحلیل طیفی را امکان پذیر می کند.هر دو تصویر ضبط شده از اجتناب از از دست دادن وضوح مکانی استفاده می شوند.ما داده های طیفی را از یک دوربین به دیگری فیوز می کنیم تا یک جریان ویدیویی با وضوح مکانی و طیفی بالا دریافت کنیم.آزمایشات امکان سنجی این رویکرد را نشان می دهد و سیستم با توجه به کاربرد آن برای نظارت بر کمک های جراحی مورد بررسی قرار می گیرد.