ترجمه فارسی مقاله پیشرفت در پاسخگویی به سوالات نموداری با تشخیص قوی اجزای نمودار

چکیده

Chart comprehension presents significant challenges for machine learning models due to the diverse and intricate shapes of charts. Existing multimodal methods often overlook these visual features or fail to integrate them effectively for chart question answering (ChartQA). To address this, we introduce Chartformer, a unified framework that enhances chart component recognition by accurately identifying and classifying components such as bars, lines, pies, titles, legends, and axes. Additionally, we propose a novel Question-guided Deformable Co-Attention (QDCAt) mechanism, which fuses chart features encoded by Chartformer with the given question, leveraging the question’s guidance to ground the correct answer. Extensive experiments demonstrate that the proposed approaches significantly outperform baseline models in chart component recognition and ChartQA tasks, achieving improvements of 3.2% in mAP and 15.4% in accuracy, respectively. These results underscore the robustness of our solution for detailed visual data interpretation across various applications.

چکیده به فارسی (ترجمه ماشینی)

درک نمودار چالش های مهمی را برای مدل های یادگیری ماشین به دلیل شکل های متنوع و پیچیده نمودارها ارائه می دهد.روشهای چند حالته موجود غالباً از این ویژگی های بصری غافل می شوند یا در پاسخ به سؤال نمودار (ChartQA) به طور مؤثر در ادغام آنها ناکام هستند.برای پرداختن به این موضوع ، ما ChartFormer را معرفی می کنیم ، یک چارچوب یکپارچه که با شناسایی دقیق و طبقه بندی مؤلفه هایی مانند میله ، خط ، کیک ، عناوین ، افسانه ها و محورها ، تشخیص مؤلفه نمودار را تقویت می کند.علاوه بر این ، ما یک مکانیسم جدید با تغییر قابل تغییر در سؤال (QDCAT) جدید را پیشنهاد می کنیم ، که ویژگی های نمودار را رمزگذاری شده توسط ChartFormer با سؤال داده شده ، از راهنمایی سوال برای پاسخ دادن به پاسخ صحیح استفاده می کند.آزمایش های گسترده نشان می دهد که رویکردهای پیشنهادی به طور قابل توجهی از مدل های پایه در شناخت مؤلفه نمودار و وظایف ChartQA بهتر عمل می کنند ، و به ترتیب به پیشرفت 3.2 ٪ در MAP و 15.4 ٪ در دقت رسیده اند.این نتایج بر استحکام راه حل ما برای تفسیر دقیق داده های بصری در برنامه های مختلف تأکید می کند.