ترجمه فارسی مقاله تولید سوالات دشوار ریاضی با کمک هوش مصنوعی

چکیده

Current LLM training positions mathematical reasoning as a core capability. With publicly available sources fully tapped, there is unmet demand for diverse and challenging math questions. Relying solely on human experts is both time-consuming and costly, while LLM-generated questions often lack the requisite diversity and difficulty. We present a design framework that combines the strengths of LLMs with a human-in-the-loop approach to generate a diverse array of challenging math questions. We leverage LLM metacognition skills [Didolkar et al., 2024] of a strong LLM to extract core “skills” from existing math datasets. These skills serve as the basis for generating novel and difficult questions by prompting the LLM with random pairs of core skills. The use of two different skills within each question makes finding such questions an “out of distribution” task for both LLMs and humans. Our pipeline employs LLMs to iteratively generate and refine questions and solutions through multiturn prompting. Human annotators then verify and further refine the questions, with their efficiency enhanced via further LLM interactions. Applying this pipeline on skills extracted from the MATH dataset [Hendrycks et al., 2021] resulted in MATH$^2$ – a dataset of higher-quality math questions, as evidenced by: (a) Lower performance of all models on MATH$^2$ than on MATH (b) Higher performance on MATH when using MATH$^2$ questions as in-context examples. Although focused on mathematics, our methodology seems applicable to other domains requiring structured reasoning, and potentially as a component of scalable oversight. Also of interest is a striking relationship observed between models’ performance on the new dataset: the success rate on MATH$^2$ is the square on MATH, suggesting that successfully solving the question in MATH$^2$ requires a nontrivial combination of two distinct math skills.

چکیده به فارسی (ترجمه ماشینی)

آموزش LLM فعلی استدلال ریاضی را به عنوان یک توانایی اصلی قرار می دهد.با وجود منابع در دسترس عموم ، تقاضای برآورده نشده برای سوالات ریاضی متنوع و چالش برانگیز وجود دارد.تکیه فقط به متخصصان بشر هم وقت گیر و هم پر هزینه است ، در حالی که سؤالات ایجاد شده توسط LLM اغلب فاقد تنوع و دشواری لازم است.ما یک چارچوب طراحی را ارائه می دهیم که نقاط قوت LLM ها را با یک رویکرد انسان در حلقه ترکیب می کند تا مجموعه ای متنوع از سؤالات ریاضی چالش برانگیز ایجاد کند.ما از مهارت های فراشناخت LLM [Didolkar et al. ، 2024] از LLM قوی برای استخراج “مهارت های اصلی” از مجموعه داده های ریاضی موجود استفاده می کنیم.این مهارت ها با سوق دادن LLM با جفت های تصادفی از مهارت های اصلی ، پایه و اساس ایجاد سؤالات جدید و دشوار است.استفاده از دو مهارت مختلف در هر سؤال ، پیدا کردن چنین سؤالاتی را به عنوان “خارج از توزیع” برای LLM ها و انسان ها تبدیل می کند.خط لوله ما از LLM ها استفاده می کند تا به طور تکراری سؤالات و راه حل ها را از طریق فوریت های چندگانه تولید و تصحیح کند.سپس حاشیه نویسان انسانی سؤالات را تأیید و اصلاح می کنند ، با کارآیی آنها از طریق تعامل بیشتر LLM افزایش می یابد.استفاده از این خط لوله بر روی مهارتهای استخراج شده از مجموعه داده های ریاضی [Hendrycks و همکاران ، 2021] منجر به ریاضی $ 2 $ – مجموعه داده ای از سؤالات ریاضی با کیفیت بالاتر ، همانطور که توسط: (الف) عملکرد پایین همه مدل ها در ریاضی $ مشهود است.^2 $ نسبت به ریاضی (ب) عملکرد بالاتر در ریاضی هنگام استفاده از ریاضیات $ 2 $ به عنوان نمونه های درون متن.اگرچه روی ریاضیات متمرکز شده است ، به نظر می رسد روش ما برای سایر حوزه هایی که نیاز به استدلال ساختاری دارند ، و به طور بالقوه به عنوان یک مؤلفه نظارت مقیاس پذیر کاربرد دارد.همچنین مورد علاقه یک رابطه چشمگیر است که بین عملکرد مدل ها در مجموعه داده های جدید مشاهده می شود: نرخ موفقیت در ریاضی^2 $ مربع ریاضی است ، نشان می دهد که حل موفقیت آمیز سوال در ریاضی^2 $ نیاز به ترکیبی غیرقانونی از دو داردمهارت های ریاضی متمایز.