ترجمه فارسی مقاله تأیید دستخط مبتنی بر مدل بینایی-زبان

چکیده

Handwriting Verification is a critical in document forensics. Deep learning based approaches often face skepticism from forensic document examiners due to their lack of explainability and reliance on extensive training data and handcrafted features. This paper explores using Vision Language Models (VLMs), such as OpenAI’s GPT-4o and Google’s PaliGemma, to address these challenges. By leveraging their Visual Question Answering capabilities and 0-shot Chain-of-Thought (CoT) reasoning, our goal is to provide clear, human-understandable explanations for model decisions. Our experiments on the CEDAR handwriting dataset demonstrate that VLMs offer enhanced interpretability, reduce the need for large training datasets, and adapt better to diverse handwriting styles. However, results show that the CNN-based ResNet-18 architecture outperforms the 0-shot CoT prompt engineering approach with GPT-4o (Accuracy: 70%) and supervised fine-tuned PaliGemma (Accuracy: 71%), achieving an accuracy of 84% on the CEDAR AND dataset. These findings highlight the potential of VLMs in generating human-interpretable decisions while underscoring the need for further advancements to match the performance of specialized deep learning models.

چکیده به فارسی (ترجمه ماشینی)

تأیید دست نوشته در پزشکی قانونی اسناد بسیار مهم است.رویکردهای مبتنی بر یادگیری عمیق به دلیل عدم توضیح و اعتماد به داده های آموزش گسترده و ویژگی های دست ساز ، اغلب با شک و تردید از آزمایش کنندگان اسناد پزشکی قانونی روبرو هستند.در این مقاله با استفاده از مدل های زبان بینایی (VLMS) ، مانند GPT-4O OpenAI و Paligemma Google ، برای پرداختن به این چالش ها بررسی شده است.با استفاده از سؤال بصری آنها به قابلیت های پاسخگویی و استدلال 0-Shot Chain-of-Thought (COT) ، هدف ما ارائه توضیحات واضح و قابل درک انسانی برای تصمیمات مدل است.آزمایشات ما در مورد مجموعه داده های دست نویس Cedar نشان می دهد که VLM ها تفسیر پیشرفته را ارائه می دهند ، نیاز به مجموعه داده های آموزشی بزرگ را کاهش می دهند و بهتر با سبک های دست نویس متنوع سازگار می شوند.با این حال ، نتایج نشان می دهد که معماری RESNET-18 مبتنی بر CNN از رویکرد مهندسی سریع COT با GPT-4O (دقت: 70 ٪) بهتر عمل می کند و پالیگمما تنظیم شده با نظارت (دقت: 71 ٪) ، دستیابی به دقت 84٪ در سرو و مجموعه داده.این یافته ها پتانسیل VLM ها را در تولید تصمیمات قابل تفسیر انسان برجسته می کند و در عین حال تأکید بر لزوم پیشرفت های بیشتر برای مطابقت با عملکرد مدلهای یادگیری عمیق تخصصی است.