ترجمه فارسی مقاله InfiMM-WebMath-40B: پیش آموزش چندوجهی پیشرفته برای استدلال ریاضی پیشرفته

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

عنوان مقاله به انگلیسی InfiMM-WebMath-40B: Advancing Multimodal Pre-Training for Enhanced Mathematical Reasoning
عنوان مقاله به فارسی InfiMM-WebMath-40B: پیش آموزش چندوجهی پیشرفته برای استدلال ریاضی پیشرفته
نویسندگان Xiaotian Han, Yiren Jian, Xuefeng Hu, Haogeng Liu, Yiqi Wang, Qihang Fan, Yuang Ai, Huaibo Huang, Ran He, Zhenheng Yang, Quanzeng You
فرمت مقاله انگلیسی PDF
تعداد صفحات 16
لینک دانلود رایگان مقاله انگلیسی دانلود مقاله
دسته بندی موضوعات Computer Vision and Pattern Recognition,Multimedia,چشم انداز رایانه و تشخیص الگوی , چندرسانه ای ,
توضیحات Submitted 19 September, 2024; originally announced September 2024.
توضیحات به فارسی ارسال شده در 19 سپتامبر 2024 ؛در ابتدا سپتامبر 2024 اعلام شد.
اطلاعات بیشتر از این مقاله در پایگاه های علمی INSPIRE HEP
NASA ADS
Google Scholar
Semantic Scholar

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

چکیده

Pre-training on large-scale, high-quality datasets is crucial for enhancing the reasoning capabilities of Large Language Models (LLMs), especially in specialized domains such as mathematics. Despite the recognized importance, the Multimodal LLMs (MLLMs) field currently lacks a comprehensive open-source pre-training dataset specifically designed for mathematical reasoning. To address this gap, we introduce InfiMM-WebMath-40B, a high-quality dataset of interleaved image-text documents. It comprises 24 million web pages, 85 million associated image URLs, and 40 billion text tokens, all meticulously extracted and filtered from CommonCrawl. We provide a detailed overview of our data collection and processing pipeline. To demonstrate the robustness of InfiMM-WebMath-40B, we conducted evaluations in both text-only and multimodal settings. Our evaluations on text-only benchmarks show that, despite utilizing only 40 billion tokens, our dataset significantly enhances the performance of our 1.3B model, delivering results comparable to DeepSeekMath-1.3B, which uses 120 billion tokens for the same model size. Nevertheless, with the introduction of our multi-modal math pre-training dataset, our models set a new state-of-the-art among open-source models on multi-modal math benchmarks such as MathVerse and We-Math. We release our data at https://huggingface.co/datasets/Infi-MM/InfiMM-WebMath-40B.

چکیده به فارسی (ترجمه ماشینی)

پیش از ترجمه در مجموعه داده های با کیفیت بالا و با کیفیت بالا برای تقویت قابلیت های استدلال مدل های بزرگ زبان (LLM) ، به ویژه در حوزه های تخصصی مانند ریاضیات بسیار مهم است.با وجود اهمیت شناخته شده ، قسمت Multimodal LLMS (MLLMS) در حال حاضر فاقد یک مجموعه داده جامع از قبل از منبع باز است که به طور خاص برای استدلال ریاضی طراحی شده است.برای پرداختن به این شکاف ، ما Infimm-WEBMATH-40B را معرفی می کنیم ، یک مجموعه داده با کیفیت بالا از اسناد تصویر تصویر بین المللی.این شامل 24 میلیون صفحه وب ، 85 میلیون URL تصویر مرتبط و 40 میلیارد نشانه متن ، همه با دقت استخراج و فیلتر شده از CommonCrawl.ما یک نمای کلی از خط لوله جمع آوری و پردازش داده های خود ارائه می دهیم.برای نشان دادن استحکام infimm-webmath-40b ، ما ارزیابی هایی را در هر دو تنظیمات فقط متن و چند حالته انجام دادیم.ارزیابی های ما در مورد معیارهای فقط متن نشان می دهد که ، با وجود استفاده از تنها 40 میلیارد نشانه ، مجموعه داده های ما عملکرد مدل 1.3B ما را به طور قابل توجهی افزایش می دهد ، و نتایج قابل مقایسه با DeepSeekmath-1.3B را ارائه می دهد ، که از 120 میلیارد نشانه برای همان اندازه مدل استفاده می کند.با این وجود ، با معرفی مجموعه داده های قبل از آموزش ریاضی چند منظوره ما ، مدل های ما در بین مدلهای منبع باز در معیارهای ریاضی چند منظوره مانند Mathverse و We-Math ، پیشرفته جدیدی را در بین مدلهای منبع باز قرار می دهند.ما داده های خود را در https://huggingface.co/datasets/infi-mm/infimm-webmath-40b منتشر می کنیم.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.