ترجمه فارسی مقاله ChemVLM: بررسی قدرت مدل‌های زبان بزرگ چندوجهی در حوزه شیمی

چکیده

Large Language Models (LLMs) have achieved remarkable success and have been applied across various scientific fields, including chemistry. However, many chemical tasks require the processing of visual information, which cannot be successfully handled by existing chemical LLMs. This brings a growing need for models capable of integrating multimodal information in the chemical domain. In this paper, we introduce \textbf{ChemVLM}, an open-source chemical multimodal large language model specifically designed for chemical applications. ChemVLM is trained on a carefully curated bilingual multimodal dataset that enhances its ability to understand both textual and visual chemical information, including molecular structures, reactions, and chemistry examination questions. We develop three datasets for comprehensive evaluation, tailored to Chemical Optical Character Recognition (OCR), Multimodal Chemical Reasoning (MMCR), and Multimodal Molecule Understanding tasks. We benchmark ChemVLM against a range of open-source and proprietary multimodal large language models on various tasks. Experimental results demonstrate that ChemVLM achieves competitive performance across all evaluated tasks. Our model can be found at https://huggingface.co/AI4Chem/ChemVLM-26B.

چکیده به فارسی (ترجمه ماشینی)

مدل های بزرگ زبان (LLMS) به موفقیت چشمگیری رسیده اند و در زمینه های علمی مختلف از جمله شیمی به کار رفته اند.با این حال ، بسیاری از کارهای شیمیایی نیاز به پردازش اطلاعات بصری دارند ، که نمی توان آنها را با موفقیت توسط LLM های شیمیایی موجود انجام داد.این یک نیاز فزاینده به مدلهایی که قادر به ادغام اطلاعات چند حالته در حوزه شیمیایی هستند ، به وجود می آورد.در این مقاله ، ما \ textbf {chemVlm} را معرفی می کنیم ، یک مدل بزرگ زبان مولتیودال شیمیایی با منبع باز که به طور خاص برای کاربردهای شیمیایی طراحی شده است.CHEMVLM در یک مجموعه داده چند حالته دو زبانه با دقت سرپرستی آموزش داده می شود که توانایی آن در درک اطلاعات شیمیایی متنی و بصری ، از جمله ساختارهای مولکولی ، واکنش ها و سؤالات معاینه شیمی را تقویت می کند.ما سه مجموعه داده برای ارزیابی جامع ، متناسب با تشخیص شخصیت نوری شیمیایی (OCR) ، استدلال شیمیایی چند حالته (MMCR) و وظایف درک مولکول چندمودال تهیه می کنیم.ما در برابر طیف وسیعی از مدلهای بزرگ زبان باز و اختصاصی چندمودال در کارهای مختلف ، ChemVLM را معیار می کنیم.نتایج تجربی نشان می دهد که CHEMVLM به عملکرد رقابتی در تمام کارهای ارزیابی شده دست می یابد.مدل ما را می توان در https://huggingface.co/ai4chem/chemvlm-26b یافت.