ترجمه فارسی مقاله InfinityMATH: مجموعه داده های تنظیم دستورالعمل مقیاس پذیر در استدلال ریاضی برنامه ای

چکیده

Recent advancements in Chain-of-Thoughts (CoT) and Program-of-Thoughts (PoT) methods have greatly enhanced language models’ mathematical reasoning capabilities, facilitating their integration into instruction tuning datasets with LLMs. However, existing methods for large-scale dataset creation require substantial seed data and high computational costs for data synthesis, posing significant challenges for scalability. We introduce InfinityMATH, a scalable instruction tuning dataset for programmatic mathematical reasoning. The construction pipeline emphasizes decoupling numbers from mathematical problems to synthesize number-independent programs, enabling efficient and flexible scaling while minimizing dependency on specific numerical values. Fine-tuning experiments with open-source language and code models, such as Llama2 and CodeLlama, demonstrate the practical benefits of InfinityMATH. These fine-tuned models, showed significant relative improvements on both in-domain and out-of-domain benchmarks, ranging from 184.7% to 514.3% on average. Additionally, these models exhibited high robustness on the GSM8K+ and MATH+ benchmarks, which are enhanced version of test sets with simply the number variations. InfinityMATH ensures that models are more versatile and effective across a broader range of mathematical problems. The data is available at https://huggingface.co/datasets/flagopen/InfinityMATH.

چکیده به فارسی (ترجمه ماشینی)

پیشرفت های اخیر در روشهای زنجیره ای (COT) و روشهای برنامه (POT) دارای قابلیت های استدلال ریاضی مدل های زبان بسیار پیشرفته است و ادغام آنها را در مجموعه داده های تنظیم دستورالعمل با LLM ها تسهیل می کند.با این حال ، روش های موجود برای ایجاد مجموعه داده های در مقیاس بزرگ به داده های بذر قابل توجهی و هزینه های محاسباتی بالا برای سنتز داده ها نیاز دارد و چالش های قابل توجهی برای مقیاس پذیری ایجاد می کند.ما InfinityMath را معرفی می کنیم ، یک مجموعه داده تنظیم دستورالعمل مقیاس پذیر برای استدلال ریاضی برنامه ای.خط لوله ساخت و ساز بر جداسازی اعداد از مشکلات ریاضی برای سنتز برنامه های مستقل از تعداد تأکید می کند ، مقیاس بندی کارآمد و انعطاف پذیر را در عین حال به حداقل رساندن وابستگی به مقادیر عددی خاص امکان پذیر می کند.آزمایش های تنظیم دقیق با مدل های منبع باز و مدلهای کد مانند Llama2 و Codellama ، مزایای عملی InfinityMath را نشان می دهد.این مدل های تنظیم شده خوب ، پیشرفت های نسبی قابل توجهی را در هر دو معیارهای دامنه و خارج از دامنه نشان داد ، از 184.7 ٪ تا 514.3 ٪ به طور متوسط.علاوه بر این ، این مدل ها استحکام بالایی را در معیارهای GSM8K+ و MATH+ نشان می دهند ، که نسخه پیشرفته مجموعه های تست با تغییرات تعداد هستند.InfinityMath تضمین می کند که مدل ها در طیف گسترده تری از مشکلات ریاضی متنوع تر و مؤثر هستند.داده ها در https://huggingface.co/datasets/flagopen/infinitymath در دسترس است.