ترجمه فارسی مقاله miniCTX: اثبات قضیه عصبی با (متن‌های) طولانی

چکیده

We introduce miniCTX, which tests a model’s ability to prove formal mathematical theorems that depend on new definitions, lemmas, or other contextual information that was not observed during training. miniCTX contains theorems sourced from real Lean projects and textbooks, each associated with a context that can span tens of thousands of tokens. Models are tasked with proving a theorem given access to code from the theorem’s repository, which contains context that is helpful or needed for the proof. As a baseline for miniCTX, we introduce file-tuning, a simple recipe that trains a model to generate a proof step conditioned on the preceding file contents. File-tuning substantially outperforms the traditional neural theorem proving approach that fine-tunes on states alone. Additionally, our file-tuned model improves performance on the standard miniF2F benchmark, achieving a pass rate of 33.61%, which is a new state-of-the-art for 1.3B parameter models. Alongside miniCTX, we offer ntp-toolkit for automatically extracting and annotating theorem proving data, making it easy to add new projects into miniCTX to ensure that contexts are not seen during training. miniCTX offers a challenging and realistic perspective on evaluating neural theorem provers.

چکیده به فارسی (ترجمه ماشینی)

ما MINICTX را معرفی می کنیم ، که توانایی یک مدل را در اثبات قضایای رسمی ریاضی که به تعاریف جدید ، لمماس یا سایر اطلاعات متنی که در طول آموزش مشاهده نشده است ، آزمایش می کند.minictx حاوی قضایایی است که از پروژه ها و کتابهای درسی واقعی تهیه شده است ، هر یک با زمینه ای همراه است که می تواند ده ها هزار توکن باشد.مدل ها وظیفه دارند یک قضیه را که به کد از مخزن قضیه دسترسی پیدا می کند ، اثبات کند ، که حاوی زمینه ای است که برای اثبات مفید یا مورد نیاز است.به عنوان یک پایه برای MinicTX ، ما تنظیم تنظیم پرونده را معرفی می کنیم ، یک دستور العمل ساده که یک مدل را برای تولید یک مرحله اثبات با شرط مطالب پرونده قبلی آموزش می دهد.تنظیم پرونده به طور قابل ملاحظه ای از رویکرد سنتی قضیه اثبات کننده اثبات شده است که به تنهایی بر روی دولتها تنظیم می شود.علاوه بر این ، مدل تنظیم شده از پرونده ما عملکرد را در معیار استاندارد Minif2F بهبود می بخشد و به نرخ عبور 33.61 ٪ دست می یابد ، که یک مدل جدید برای مدل های پارامتر 1.3B است.در کنار Minictx ، ما NTP-ToolKit را برای استخراج خودکار و حاشیه نویسی داده های اثبات قضیه ارائه می دهیم ، و افزودن پروژه های جدید به Minictx را آسان می کند تا اطمینان حاصل شود که زمینه ها در طول آموزش دیده نمی شوند.MINICTX یک دیدگاه چالش برانگیز و واقع بینانه در مورد ارزیابی پیشرانهای قضیه عصبی ارائه می دهد.