ترجمه فارسی مقاله InfiMM-WebMath-40B: پیش آموزش چندوجهی پیشرفته برای استدلال ریاضی پیشرفته

چکیده

Pre-training on large-scale, high-quality datasets is crucial for enhancing the reasoning capabilities of Large Language Models (LLMs), especially in specialized domains such as mathematics. Despite the recognized importance, the Multimodal LLMs (MLLMs) field currently lacks a comprehensive open-source pre-training dataset specifically designed for mathematical reasoning. To address this gap, we introduce InfiMM-WebMath-40B, a high-quality dataset of interleaved image-text documents. It comprises 24 million web pages, 85 million associated image URLs, and 40 billion text tokens, all meticulously extracted and filtered from CommonCrawl. We provide a detailed overview of our data collection and processing pipeline. To demonstrate the robustness of InfiMM-WebMath-40B, we conducted evaluations in both text-only and multimodal settings. Our evaluations on text-only benchmarks show that, despite utilizing only 40 billion tokens, our dataset significantly enhances the performance of our 1.3B model, delivering results comparable to DeepSeekMath-1.3B, which uses 120 billion tokens for the same model size. Nevertheless, with the introduction of our multi-modal math pre-training dataset, our models set a new state-of-the-art among open-source models on multi-modal math benchmarks such as MathVerse and We-Math. We release our data at https://huggingface.co/datasets/Infi-MM/InfiMM-WebMath-40B.

چکیده به فارسی (ترجمه ماشینی)

پیش از ترجمه در مجموعه داده های با کیفیت بالا و با کیفیت بالا برای تقویت قابلیت های استدلال مدل های بزرگ زبان (LLM) ، به ویژه در حوزه های تخصصی مانند ریاضیات بسیار مهم است.با وجود اهمیت شناخته شده ، قسمت Multimodal LLMS (MLLMS) در حال حاضر فاقد یک مجموعه داده جامع از قبل از منبع باز است که به طور خاص برای استدلال ریاضی طراحی شده است.برای پرداختن به این شکاف ، ما Infimm-WEBMATH-40B را معرفی می کنیم ، یک مجموعه داده با کیفیت بالا از اسناد تصویر تصویر بین المللی.این شامل 24 میلیون صفحه وب ، 85 میلیون URL تصویر مرتبط و 40 میلیارد نشانه متن ، همه با دقت استخراج و فیلتر شده از CommonCrawl.ما یک نمای کلی از خط لوله جمع آوری و پردازش داده های خود ارائه می دهیم.برای نشان دادن استحکام infimm-webmath-40b ، ما ارزیابی هایی را در هر دو تنظیمات فقط متن و چند حالته انجام دادیم.ارزیابی های ما در مورد معیارهای فقط متن نشان می دهد که ، با وجود استفاده از تنها 40 میلیارد نشانه ، مجموعه داده های ما عملکرد مدل 1.3B ما را به طور قابل توجهی افزایش می دهد ، و نتایج قابل مقایسه با DeepSeekmath-1.3B را ارائه می دهد ، که از 120 میلیارد نشانه برای همان اندازه مدل استفاده می کند.با این وجود ، با معرفی مجموعه داده های قبل از آموزش ریاضی چند منظوره ما ، مدل های ما در بین مدلهای منبع باز در معیارهای ریاضی چند منظوره مانند Mathverse و We-Math ، پیشرفته جدیدی را در بین مدلهای منبع باز قرار می دهند.ما داده های خود را در https://huggingface.co/datasets/infi-mm/infimm-webmath-40b منتشر می کنیم.