ترجمه فارسی مقاله HyperMM: یادگیری چندوجهی قوی با ورودی‌های با اندازه متغیر

چکیده

Combining multiple modalities carrying complementary information through multimodal learning (MML) has shown considerable benefits for diagnosing multiple pathologies. However, the robustness of multimodal models to missing modalities is often overlooked. Most works assume modality completeness in the input data, while in clinical practice, it is common to have incomplete modalities. Existing solutions that address this issue rely on modality imputation strategies before using supervised learning models. These strategies, however, are complex, computationally costly and can strongly impact subsequent prediction models. Hence, they should be used with parsimony in sensitive applications such as healthcare. We propose HyperMM, an end-to-end framework designed for learning with varying-sized inputs. Specifically, we focus on the task of supervised MML with missing imaging modalities without using imputation before training. We introduce a novel strategy for training a universal feature extractor using a conditional hypernetwork, and propose a permutation-invariant neural network that can handle inputs of varying dimensions to process the extracted features, in a two-phase task-agnostic framework. We experimentally demonstrate the advantages of our method in two tasks: Alzheimer’s disease detection and breast cancer classification. We demonstrate that our strategy is robust to high rates of missing data and that its flexibility allows it to handle varying-sized datasets beyond the scenario of missing modalities.

چکیده به فارسی (ترجمه ماشینی)

ترکیب چندین روش حامل اطلاعات تکمیلی از طریق یادگیری چند مدلی (MML) مزایای قابل توجهی برای تشخیص آسیب شناسی های متعدد نشان داده است.با این حال ، استحکام مدل های چند حالته به روشهای گمشده اغلب نادیده گرفته می شود.اکثر آثار کامل بودن روش را در داده های ورودی فرض می کنند ، در حالی که در عمل بالینی ، داشتن روش های ناقص معمول است.راه حل های موجود که به این مسئله می پردازند قبل از استفاده از مدلهای یادگیری نظارت شده ، به استراتژی های تغییر شکل متکی هستند.با این حال ، این استراتژی ها پیچیده ، از نظر محاسباتی پرهزینه هستند و می توانند به شدت بر مدل های پیش بینی بعدی تأثیر بگذارند.از این رو ، آنها باید در کاربردهای حساس مانند مراقبت های بهداشتی با پارسیمونی استفاده شوند.ما HyperMM را پیشنهاد می کنیم ، یک چارچوب پایان به انتهایی که برای یادگیری با ورودی های مختلف طراحی شده است.به طور خاص ، ما بر روی وظیفه نظارت MML با روشهای تصویربرداری از دست رفته بدون استفاده از ضعف قبل از آموزش تمرکز می کنیم.ما یک استراتژی جدید را برای آموزش یک استخراج کننده ویژگی جهانی با استفاده از یک کارنامه مشروط مشروط معرفی می کنیم و یک شبکه عصبی متغیر را ارائه می دهیم که می تواند ورودی های ابعاد مختلف را برای پردازش ویژگی های استخراج شده ، در یک چارچوب کار دو فاز انجام دهد.ما به طور تجربی مزایای روش خود را در دو کار نشان می دهیم: تشخیص بیماری آلزایمر و طبقه بندی سرطان پستان.ما نشان می دهیم که استراتژی ما نسبت به نرخ بالای داده های از دست رفته قوی است و انعطاف پذیری آن به آن اجازه می دهد تا مجموعه داده های مختلف را فراتر از سناریوی روشهای گمشده اداره کند.