ترجمه فارسی مقاله MoRA: تشخیص بیماری چندوجهی هدایت‌شده LoRA با روش گمشده

چکیده

Multi-modal pre-trained models efficiently extract and fuse features from different modalities with low memory requirements for fine-tuning. Despite this efficiency, their application in disease diagnosis is under-explored. A significant challenge is the frequent occurrence of missing modalities, which impairs performance. Additionally, fine-tuning the entire pre-trained model demands substantial computational resources. To address these issues, we introduce Modality-aware Low-Rank Adaptation (MoRA), a computationally efficient method. MoRA projects each input to a low intrinsic dimension but uses different modality-aware up-projections for modality-specific adaptation in cases of missing modalities. Practically, MoRA integrates into the first block of the model, significantly improving performance when a modality is missing. It requires minimal computational resources, with less than 1.6% of the trainable parameters needed compared to training the entire model. Experimental results show that MoRA outperforms existing techniques in disease diagnosis, demonstrating superior performance, robustness, and training efficiency.

چکیده به فارسی (ترجمه ماشینی)

مدلهای از پیش آموزش چند جانبه چند منظوره از روشهای مختلف با نیازهای حافظه کم برای تنظیم دقیق ، به طور مؤثر و فیوز را استخراج و فیوز می کنند.با وجود این کارآیی ، کاربرد آنها در تشخیص بیماری تحت تأثیر قرار نمی گیرد.یک چالش مهم ، وقوع مکرر روشهای گمشده است که باعث اختلال در عملکرد می شود.علاوه بر این ، تنظیم دقیق کل مدل از پیش آموزش یافته منابع محاسباتی قابل توجهی را طلب می کند.برای پرداختن به این موضوعات ، ما سازگاری با رتبه پایین آگاه (MORA) ، یک روش محاسباتی کارآمد را معرفی می کنیم.MORA هر ورودی را به ابعاد ذاتی پایین می رساند اما از پیش بینی های مختلف آگاهانه برای سازگاری خاص در روش در مواردی که در مورد روشهای گمشده استفاده می شود ، استفاده می کند.از نظر عملی ، MORA در اولین بلوک مدل ادغام می شود ، هنگامی که یک روش از دست می رود ، عملکرد را به طور قابل توجهی بهبود می بخشد.این نیاز به حداقل منابع محاسباتی دارد و کمتر از 1.6 ٪ از پارامترهای قابل آموزش مورد نیاز در مقایسه با آموزش کل مدل است.نتایج تجربی نشان می دهد که MORA از تکنیک های موجود در تشخیص بیماری بهتر است ، نشان دهنده عملکرد برتر ، استحکام و بهره وری آموزش است.