ترجمه فارسی مقاله فیزیک مدل‌های زبانی: بخش ۲.۱، ریاضی دبستان و فرآیند استدلال پنهان

چکیده

Recent advances in language models have demonstrated their capability to solve mathematical reasoning problems, achieving near-perfect accuracy on grade-school level math benchmarks like GSM8K. In this paper, we formally study how language models solve these problems. We design a series of controlled experiments to address several fundamental questions: (1) Can language models truly develop reasoning skills, or do they simply memorize templates? (2) What is the model’s hidden (mental) reasoning process? (3) Do models solve math questions using skills similar to or different from humans? (4) Do models trained on GSM8K-like datasets develop reasoning skills beyond those necessary for solving GSM8K problems? (5) What mental process causes models to make reasoning mistakes? (6) How large or deep must a model be to effectively solve GSM8K-level math questions? Our study uncovers many hidden mechanisms by which language models solve mathematical questions, providing insights that extend beyond current understandings of LLMs.

چکیده به فارسی (ترجمه ماشینی)

پیشرفت های اخیر در مدل های زبان توانایی خود را برای حل مشکلات استدلال ریاضی نشان داده است ، و به دقت تقریباً کامل در معیارهای ریاضی سطح مدرسه مانند GSM8K دست می یابند.در این مقاله ، ما به طور رسمی بررسی می کنیم که چگونه مدل های زبان این مشکلات را حل می کنند.ما یک سری آزمایش های کنترل شده را برای پرداختن به چندین سؤال اساسی طراحی می کنیم: (1) آیا مدل های زبان واقعاً می توانند مهارت های استدلال را توسعه دهند ، یا آیا آنها به سادگی الگوها را به خاطر می آورند؟(2) روند استدلال پنهان (ذهنی) مدل چیست؟(3) آیا مدل ها با استفاده از مهارت های مشابه یا متفاوت از انسان ، سؤالات ریاضی را حل می کنند؟(4) آیا مدل های آموزش داده شده در مجموعه داده های GSM8K مانند مهارت های استدلال فراتر از موارد لازم برای حل مشکلات GSM8K ایجاد می کنند؟(5) چه فرایندی ذهنی باعث می شود مدل ها اشتباهات استدلال کنند؟(6) یک مدل برای حل مؤثر سؤالات ریاضی GSM8K چقدر باید بزرگ یا عمیق باشد؟مطالعه ما بسیاری از مکانیسم های پنهان را کشف می کند که با استفاده از آن ، مدلهای زبان سؤالات ریاضی را حل می کنند و بینش هایی را ارائه می دهند که فراتر از درک فعلی LLM ها است.