مقاله بررسی استفاده از ویدیوهای طبیعی در دسترس عمومی برای یادگیری بازسازی تصویر MR پویا

چکیده

Purpose: To develop and assess a deep learning (DL) pipeline to learn dynamic MR image reconstruction from publicly available natural videos (Inter4K). Materials and Methods: Learning was performed for a range of DL architectures (VarNet, 3D UNet, FastDVDNet) and corresponding sampling patterns (Cartesian, radial, spiral) either from true multi-coil cardiac MR data (N=692) or from pseudo-MR data simulated from Inter4K natural videos (N=692). Real-time undersampled dynamic MR images were reconstructed using DL networks trained with cardiac data and natural videos, and compressed sensing (CS). Differences were assessed in simulations (N=104 datasets) in terms of MSE, PSNR, and SSIM and prospectively for cardiac (short axis, four chambers, N=20) and speech (N=10) data in terms of subjective image quality ranking, SNR and Edge sharpness. Friedman Chi Square tests with post-hoc Nemenyi analysis were performed to assess statistical significance. Results: For all simulation metrics, DL networks trained with cardiac data outperformed DL networks trained with natural videos, which outperformed CS (p<0.05). However, in prospective experiments DL reconstructions using both training datasets were ranked similarly (and higher than CS) and presented no statistical differences in SNR and Edge Sharpness for most conditions. Additionally, high SSIM was measured between the DL methods with cardiac data and natural videos (SSIM>0.85). Conclusion: The developed pipeline enabled learning dynamic MR reconstruction from natural videos preserving DL reconstruction advantages such as high quality fast and ultra-fast reconstructions while overcoming some limitations (data scarcity or sharing). The natural video dataset, code and pre-trained networks are made readily available on github. Key Words: real-time; dynamic MRI; deep learning; image reconstruction; machine learning;

چکیده به فارسی (ترجمه ماشینی)

هدف: برای توسعه و ارزیابی خط لوله یادگیری عمیق (DL) برای یادگیری بازسازی تصویر پویا MR از فیلم های طبیعی در دسترس عمومی (Inter4K).مواد و روشها: یادگیری برای طیف وسیعی از معماری های DL (Varnet ، Unet سه بعدی ، FastDVDNET) و الگوهای نمونه برداری مربوطه (دکارتی ، شعاعی ، مارپیچ) یا از داده های MR قلبی چند سیم پیچ (692 نفر) یا از شبه شبه انجام شد.داده های MR از فیلم های طبیعی Inter4K شبیه سازی شده است (692 = n).تصاویر MR پویا در زمان واقعی در زمان واقعی با استفاده از شبکه های DL که با داده های قلبی و فیلم های طبیعی آموزش داده شده و سنجش فشرده شده (CS) بازسازی شدند.اختلافات در شبیه سازی (104 مجموعه داده) از نظر MSE ، PSNR و SSIM و به صورت آینده نگر برای داده های قلبی (محور کوتاه ، چهار اتاق ، 20 نفر) و گفتار (10 نفر) از نظر رتبه بندی کیفیت تصویر ذهنی مورد بررسی قرار گرفت.، وضوح SNR و لبه.آزمون های میدان فریدمن چی با تجزیه و تحلیل نمنهی پس از تعقیله برای ارزیابی اهمیت آماری انجام شد.یافته ها: برای کلیه معیارهای شبیه سازی ، شبکه های DL که با داده های قلبی آموزش داده شده اند از شبکه های DL که با فیلم های طبیعی آموزش داده شده اند ، که از CS بهتر است (P <0.05).با این حال ، در آزمایشات آینده نگر بازسازی DL با استفاده از هر دو مجموعه داده آموزشی به طور مشابه (و بالاتر از CS) قرار گرفتند و هیچ تفاوت آماری در SNR و وضوح لبه برای اکثر شرایط ارائه نکردند.علاوه بر این ، SSIM بالا بین روشهای DL با داده های قلبی و فیلم های طبیعی اندازه گیری شد (SSIM> 0.85).نتيجه گيري: خط لوله توسعه یافته ، يادگيري را فعاليت مي كند ، بازسازی Dynamic MR از فیلم هاي طبيعي كه مزایای بازسازی DL را حفظ مي كنند مانند بازسازی هاي سریع و فوق العاده با كيفيت بالا ضمن غلبه بر برخی از محدودیت ها (كمبود داده ها يا به اشتراک گذاری).مجموعه داده های ویدیویی طبیعی ، کد و شبکه های از قبل آموزش دیده به راحتی در GitHub در دسترس هستند.کلمات کلیدی: زمان واقعی ؛MRI پویا ؛یادگیری عمیق؛بازسازی تصویر ؛فراگیری ماشین؛