ترجمه فارسی مقاله تحریک مدل‌های بینایی-زبانی بزرگ پزشکی برای تشخیص آسیب‌شناسی‌ها با استفاده از پرسش و پاسخ بصری

چکیده

Large Vision-Language Models (LVLMs) have achieved significant success in recent years, and they have been extended to the medical domain. Although demonstrating satisfactory performance on medical Visual Question Answering (VQA) tasks, Medical LVLMs (MLVLMs) suffer from the hallucination problem, which makes them fail to diagnose complex pathologies. Moreover, they readily fail to learn minority pathologies due to imbalanced training data. We propose two prompting strategies for MLVLMs that reduce hallucination and improve VQA performance. In the first strategy, we provide a detailed explanation of the queried pathology. In the second strategy, we fine-tune a cheap, weak learner to achieve high performance on a specific metric, and textually provide its judgment to the MLVLM. Tested on the MIMIC-CXR-JPG and Chexpert datasets, our methods significantly improve the diagnostic F1 score, with the highest increase being 0.27. We also demonstrate that our prompting strategies can be extended to general LVLM domains. Based on POPE metrics, it effectively suppresses the false negative predictions of existing LVLMs and improves Recall by approximately 0.07.

چکیده به فارسی (ترجمه ماشینی)

مدلهای بزرگ به زبان بینایی (LVLMS) در سالهای اخیر به موفقیت قابل توجهی رسیده اند و آنها به حوزه پزشکی گسترش یافته اند.اگرچه نشان دهنده عملکرد رضایت بخش در پاسخ به سؤال بصری پزشکی (VQA) است ، LVLM های پزشکی (MLVLMS) از مشکل توهم رنج می برند ، و این باعث می شود آنها در تشخیص آسیب شناسی پیچیده باشند.علاوه بر این ، آنها به راحتی در یادگیری آسیب شناسی اقلیت به دلیل داده های آموزش نامتعادل ناکام هستند.ما دو استراتژی سریع برای MLVLM ها پیشنهاد می کنیم که باعث کاهش توهم و بهبود عملکرد VQA می شود.در اولین استراتژی ، ما توضیح مفصلی در مورد آسیب شناسی پرس و جو ارائه می دهیم.در استراتژی دوم ، ما یک یادگیرنده ارزان و ضعیف را برای دستیابی به عملکرد بالا در یک معیار خاص تنظیم می کنیم و از نظر متنی قضاوت خود را به MLVLM ارائه می دهیم.آزمایش شده در مجموعه داده های MIMIC-CXR-JPG و CHEXPERT ، روشهای ما به طور قابل توجهی نمره تشخیصی F1 را بهبود می بخشد ، با بالاترین افزایش 0.27.ما همچنین نشان می دهیم که استراتژی های سریع ما می تواند به حوزه های عمومی LVLM گسترش یابد.بر اساس معیارهای پاپ ، به طور موثری پیش بینی های منفی کاذب LVLM های موجود را سرکوب می کند و فراخوان را تقریباً 0.07 بهبود می بخشد.