ترجمه فارسی مقاله CodePlan: باز کردن پتانسیل استدلال در مدل‌های زبان بزرگ با مقیاس‌گذاری برنامه‌ریزی فرم کد

چکیده

Despite the remarkable success of large language models (LLMs) on traditional natural language processing tasks, their planning ability remains a critical bottleneck in tackling complex multi-step reasoning tasks. Existing approaches mainly rely on prompting or task-specific fine-tuning, often suffering from weak robustness and cross-task generalization. To address the limitation, we introduce CODEPLAN, a scalable paradigm that empowers LLMs to generate and follow code-form plans pseudocode that outlines high-level, structured reasoning processes. By leveraging the structured and versatile nature of code, CODEPLAN effectively captures the rich semantics and control flows inherent to sophisticated reasoning. Importantly, CODEPLAN allows the automatic extraction of code-form plans from massive, wide-ranging text corpora without the need for curated, task-specific datasets. This enables it to scale up efficiently and improve reasoning capabilities across diverse scenarios. To train CODEPLAN, we construct a large-scale dataset of 2M examples that integrate code-form plans with standard prompt-response pairs from existing corpora. With minimal computation overhead during both training and inference, CODEPLAN achieves a 25.1% relative improvement compared with directly generating responses, averaged across 13 challenging multi-step reasoning benchmarks, spanning mathematical reasoning, symbolic reasoning, instruction-following, multi-hop QA, and decision-making tasks. Further analysis reveals CODEPLAN’s increasing performance gains on more complex reasoning tasks, as well as significant data efficiency thanks to its generalization ability.

چکیده به فارسی (ترجمه ماشینی)

علیرغم موفقیت چشمگیر مدل های بزرگ زبان (LLM) در کارهای سنتی پردازش زبان طبیعی ، توانایی برنامه ریزی آنها یک تنگنا مهم در مقابله با وظایف استدلال چند مرحله ای پیچیده است.رویکردهای موجود عمدتاً به تنظیم دقیق یا تنظیم دقیق کار متکی هستند ، که اغلب از استحکام ضعیف و تعمیم کار متقابل رنج می برند.برای پرداختن به محدودیت ، ما CodePlan را معرفی می کنیم ، یک الگوی مقیاس پذیر که به LLM ها این امکان را می دهد تا برنامه های شبه کد را تولید و دنبال کنند که فرآیندهای استدلال سطح بالا و ساختاری را تشریح می کند.CodePlan با استفاده از ماهیت ساختاری و همه کاره کد ، به طور مؤثر معناشناسی غنی و جریان های کنترل ذاتی استدلال پیشرفته را ضبط می کند.نکته مهم این است که CodePlan اجازه می دهد تا به استخراج خودکار برنامه های مربوط به کد از شرکت های متن گسترده و گسترده و بدون نیاز به مجموعه داده های خاص و خاص کار می شود.این امر باعث می شود تا بتواند به طور کارآمد مقیاس کند و قابلیت های استدلال را در سناریوهای متنوع بهبود بخشد.برای آموزش برنامه Code ، ما یک مجموعه داده در مقیاس بزرگ از 2M نمونه هایی را ایجاد می کنیم که برنامه های فرم کد را با جفت های پاسخ سریع استاندارد از شرکت های موجود ادغام می کنند.با حداقل محاسبات سربار در حین آموزش و استنباط ، برنامه Code به پیشرفت نسبی 25.1 ٪ در مقایسه با پاسخ های مستقیم تولید می شود ، به طور متوسط ​​در 13 معیار استدلال چند مرحله ای چالش برانگیز ، استدلال ریاضی ، استدلال نمادین ، ​​آموزش چند هاپ ، QA چند هاپ ، و QA و چندوظایف تصمیم گیری.تجزیه و تحلیل بیشتر نشان می دهد که افزایش عملکرد CodePlan در کارهای استدلال پیچیده تر و همچنین بهره وری قابل توجه داده ها به لطف توانایی تعمیم آن.