ترجمه فارسی مقاله ارزیابی درک گرافیکی از مدل‌های جاسازی تصویر با استفاده از اثربخشی کانال

چکیده

Recent advancements in vision models have greatly improved their ability to handle complex chart understanding tasks, like chart captioning and question answering. However, it remains challenging to assess how these models process charts. Existing benchmarks only roughly evaluate model performance without evaluating the underlying mechanisms, such as how models extract image embeddings. This limits our understanding of the model’s ability to perceive fundamental graphical components. To address this, we introduce a novel evaluation framework to assess the graphical perception of image embedding models. For chart comprehension, we examine two main aspects of channel effectiveness: accuracy and discriminability of various visual channels. Channel accuracy is assessed through the linearity of embeddings, measuring how well the perceived magnitude aligns with the size of the stimulus. Discriminability is evaluated based on the distances between embeddings, indicating their distinctness. Our experiments with the CLIP model show that it perceives channel accuracy differently from humans and shows unique discriminability in channels like length, tilt, and curvature. We aim to develop this work into a broader benchmark for reliable visual encoders, enhancing models for precise chart comprehension and human-like perception in future applications.

چکیده به فارسی (ترجمه ماشینی)

پیشرفت های اخیر در مدل های Vision توانایی خود را در رسیدگی به وظایف پیچیده درک نمودار ، مانند عنوان نمودار و پاسخ به سؤال ، تا حد زیادی بهبود بخشیده است.با این حال ، ارزیابی چگونگی پردازش این مدل ها نمودارها چالش برانگیز است.معیارهای موجود فقط تقریباً عملکرد مدل را بدون ارزیابی مکانیسم های اساسی ارزیابی می کنند ، مانند نحوه استخراج مدل ها تعبیه های تصویر.این درک ما از توانایی مدل در درک اجزای اساسی گرافیکی را محدود می کند.برای پرداختن به این موضوع ، ما یک چارچوب ارزیابی جدید را برای ارزیابی درک گرافیکی از مدل های تعبیه کننده تصویر معرفی می کنیم.برای درک نمودار ، ما دو جنبه اصلی اثربخشی کانال را بررسی می کنیم: دقت و تبعیض کانال های مختلف بصری.دقت کانال از طریق خطی بودن تعبیه ها ارزیابی می شود ، و اندازه گیری میزان درک شده با اندازه محرک چگونه است.تبعیض آمیز بر اساس فاصله بین تعبیه ها ارزیابی می شود ، که نشان دهنده تمایز آنها است.آزمایشات ما با مدل کلیپ نشان می دهد که دقت کانال را متفاوت از انسان درک می کند و تبعیض منحصر به فرد در کانال هایی مانند طول ، شیب و انحنای را نشان می دهد.هدف ما این است که این کار را به یک معیار وسیع تر برای رمزگذارهای بصری قابل اعتماد تبدیل کنیم ، مدلهایی را برای درک دقیق نمودار و درک انسان در برنامه های آینده تقویت کنیم.