در سال‌های اخیر، مدل‌های زبانی بزرگ (LLMs) توانایی‌های شگفت‌انگیزی در پردازش زبان طبیعی از خود نشان داده‌اند. با این حال، هنگامی که صحبت از استدلال منطقی و چندمرحله‌ای، به‌ویژه در حوزه ریاضیات، به میان می‌آید، این مدل‌ها همچنان با چالش‌های جدی روبرو هستند. حل یک مسئله ریاضی دبستانی نیازمند درک عمیق، برنامه‌ریزی گام‌به‌گام و اجرای دقیق عملیات است؛ مهارتی که فراتر از تطبیق الگوهای زبانی است. مقاله «یادگیری استدلال ریاضی از راه‌حل‌های صحیح و نیمه‌صحیحِ خودتولیدشده» یک رویکرد نوآورانه برای رفع این نقیصه ارائه می‌دهد.

اهمیت این پژوهش در تغییر پارادایم آموزش مدل‌های هوش مصنوعی نهفته است. به جای آموزش انفعالی مدل با یک راه‌حل مرجع، این مقاله روشی را پیشنهاد می‌کند که در آن مدل به یک یادگیرنده فعال تبدیل می‌شود. مدل تشویق می‌شود تا مسیرهای مختلفی را برای رسیدن به پاسخ بیازماید و نه‌تنها از موفقیت‌های کامل، بلکه از تلاش‌های نیمه‌کاره و مراحل صحیح در راه‌حل‌های ناقص نیز درس بگیرد. این رویکرد، مدل‌ها را به سمت تفکری منعطف‌تر و شبیه‌تر به انسان سوق می‌دهد و پتانسیل حل مسائل پیچیده‌تر را در آینده افزایش می‌دهد.

این مقاله حاصل همکاری گروهی از پژوهشگران برجسته از جمله Ansong Ni، Jeevana Priya Inala، Chenglong Wang، Oleksandr Polozov، Christopher Meek، Dragomir Radev و Jianfeng Gao است. حضور نام‌هایی از مؤسسات تحقیقاتی پیشرو مانند Microsoft Research نشان‌دهنده عمق و اعتبار این کار پژوهشی است. این تحقیق در تقاطع دو حوزه کلیدی هوش مصنوعی قرار دارد: یادگیری ماشین (Machine Learning) و زبان‌های برنامه‌نویسی (Programming Languages).

زمینه تحقیق به حوزه در حال رشد «استدلال عصبی-نمادین» (Neuro-Symbolic Reasoning) بازمی‌گردد. در این رویکرد، تلاش می‌شود تا قدرت مدل‌های عصبی در درک الگوهای پیچیده با دقت و صراحت سیستم‌های نمادین (مانند منطق و کد) ترکیب شود. این مقاله با آموزش مدل برای تولید راه‌حل‌هایی که قابل اجرا و ارزیابی هستند (شبیه به قطعه کد)، گامی مهم در این مسیر برمی‌دارد و به ساخت سیستم‌های هوش مصنوعی قابل اعتمادتر و قابل تفسیرتر کمک می‌کند.

مدل‌های زبانی پیش‌آموخته علی‌رغم عملکرد فوق‌العاده در وظایف پردازش زبان، در استدلال رسمی چندمرحله‌ای مانند حل مسائل ریاضی، ضعف دارند. یکی از چالش‌های اصلی در آموزش این مدل‌ها، محدودیت داده‌هاست. اکثر مجموعه داده‌های موجود برای هر مسئله تنها یک راه‌حل مرجع ارائه می‌دهند، در حالی که اغلب چندین مسیر منطقی متفاوت برای رسیدن به پاسخ نهایی وجود دارد. این محدودیت باعث می‌شود مدل‌ها به سمت تقلید کورکورانه از یک مسیر خاص سوق داده شوند و قدرت تعمیم‌پذیری خود را برای حل مسائل جدید از دست بدهند.

برای غلبه بر این مشکل، نویسندگان روشی به نام خودنمونه‌برداری (Self-Sampling) را پیشنهاد می‌کنند. در این فرآیند، مدل در حین آموزش، خود اقدام به تولید چندین راه‌حل ممکن برای یک مسئله می‌کند. سپس، از دو نوع از این راه‌حل‌های تولیدشده برای یادگیری استفاده می‌شود:

• راه‌حل‌های کاملاً صحیح (Fully-Correct): راه‌حل‌هایی که پس از اجرا، به پاسخ نهایی صحیح منجر می‌شوند.
• راه‌حل‌های نیمه‌صحیح (Partially-Correct): راه‌حل‌هایی که گرچه در نهایت به پاسخ غلط می‌رسند، اما برخی از مراحل میانی آن‌ها با مراحل میانی یک راه‌حل صحیح شناخته‌شده مطابقت دارد.

این رویکرد دو مزیت کلیدی دارد: اولاً، با پاداش دادن به مسیرهای جدید و صحیح، مدل را به کاوش کارآمدتر در فضای وسیع راه‌حل‌ها تشویق می‌کند. ثانیاً، با ارزش‌گذاری مراحل میانی صحیح، سیگنال‌های یادگیری ارزشمندی را حتی از تلاش‌های ناموفق استخراج می‌کند و فرآیند یادگیری را هدایت‌پذیرتر می‌سازد.

روش پیشنهادی این مقاله بر پایه یک فرآیند هوشمندانه برای تولید و ارزیابی راه‌حل‌ها استوار است. در ادامه، مراحل کلیدی این روش‌شناسی تشریح می‌شود.

۱. مشکل رویکرد استاندارد (MLE):
در روش‌های متداول، مدل‌ها با استفاده از بهینه‌سازی حداکثر درست‌نمایی (Maximum Likelihood Estimation – MLE) آموزش می‌بینند. در این چارچوب، هدف مدل تنها این است که احتمال تولید دقیق همان راه‌حل مرجع موجود در داده آموزشی را به حداکثر برساند. این مانند آن است که به یک دانش‌آموز بگوییم فقط یک راه برای حل مسئله وجود دارد و هرگونه خلاقیت یا روش جایگزین، اشتباه تلقی می‌شود. این رویکرد انعطاف‌پذیری مدل را به شدت محدود می‌کند.

۲. خودنمونه‌برداری برای کاوش در فضای راه‌حل:
به جای تکیه بر یک راه‌حل، این متد به مدل اجازه می‌دهد تا برای هر مسئله، چندین کاندیدای راه‌حل (Solution Candidates) تولید کند. این فرآیند که «نمونه‌برداری» نام دارد، به مدل فرصت می‌دهد تا مسیرهای فکری متفاوتی را بیازماید. برای مثال، برای مسئله «سارا ۳ سیب داشت، ۲ سیب دیگر خرید و ۱ سیب را خورد. چند سیب باقی مانده است؟»، مدل ممکن است راه‌حل‌هایی مانند `(3 + 2) – 1` یا `3 + (2 – 1)` را تولید کند.

۳. ارزیابی راه‌حل‌های تولیدشده:
پس از تولید نمونه‌ها، هر یک از آن‌ها ارزیابی می‌شوند:

• یک راه‌حل کاملاً صحیح است اگر پس از اجرای محاسبات آن، پاسخ نهایی با پاسخ صحیح مسئله برابر باشد. این یک سیگنال یادگیری قوی و مثبت است.
• یک راه‌حل نیمه‌صحیح است اگر یکی از مراحل میانی آن با مراحل میانی راه‌حل مرجع مطابقت داشته باشد. برای مثال، اگر راه‌حل مرجع `(3 + 2) – 1` باشد و مدل `(3 + 2) * 2` را تولید کند، مرحله `3 + 2 = 5` یک حالت میانی صحیح است. اگرچه پاسخ نهایی اشتباه است، اما مدل برای رسیدن به این مرحله میانی صحیح، یک پاداش کوچک دریافت می‌کند. این سیگنال یادگیری ظریف، به مدل کمک می‌کند تا بلوک‌های سازنده استدلال صحیح را بیاموزد.

۴. به‌روزرسانی مدل با اهداف یادگیری متنوع:
در نهایت، مدل با استفاده از مجموعه‌ای از راه‌حل‌های صحیح و نیمه‌صحیحِ خودتولیدشده، به‌روزرسانی می‌شود. نویسندگان اهداف آموزشی (Training Objectives) مختلفی را بررسی کردند تا دریابند کدام‌یک بهترین عملکرد را در بهره‌برداری از این داده‌های غنی‌شده دارد. این نشان می‌دهد که صرفاً داشتن راه‌حل‌های متعدد کافی نیست، بلکه نحوه یادگیری از آن‌ها نیز نقشی حیاتی در موفقیت نهایی ایفا می‌کند.

آزمایش‌های انجام‌شده بر روی دو مجموعه داده استاندارد برای استدلال ریاضی، یعنی GSM8K (مسائل ریاضی دبستانی) و MathQA، اثربخشی چشمگیر این روش را به اثبات رساند.

• در مجموعه داده GSM8K، با استفاده از معیار PASS@100 (احتمال یافتن حداقل یک راه‌حل صحیح در ۱۰۰ تلاش)، روش پیشنهادی توانست دقت را از ۳۵.۵٪ در مدل پایه به ۴۴.۵٪ افزایش دهد. این بهبود ۹ درصدی، یک جهش قابل توجه در این حوزه محسوب می‌شود.
• در مجموعه داده MathQA، با معیار PASS@80، دقت از ۲۷.۶٪ به ۳۶.۲٪ ارتقا یافت که نشان‌دهنده بهبود پایداری در مسائل متنوع‌تر است.

یکی از مهم‌ترین یافته‌ها این بود که این بهبودها در اندازه‌های مختلف مدل ثابت بودند. این بدان معناست که این روش یک تکنیک بنیادی و قدرتمند است و موفقیت آن صرفاً به دلیل استفاده از مدل‌های بسیار بزرگ نیست. این یافته نشان می‌دهد که یادگیری از راه‌حل‌های نیمه‌صحیح به عنوان یک راهنمای موثر عمل کرده و به مدل کمک می‌کند تا سریع‌تر و کارآمدتر به سمت استدلال صحیح همگرا شود.

دستاوردها و کاربردهای این پژوهش فراتر از حل مسائل ریاضی است و می‌تواند بر حوزه‌های مختلفی از هوش مصنوعی تأثیر بگذارد:

• قابلیت تعمیم به سایر وظایف استدلالی: این متدولوژی می‌تواند برای هر وظیفه‌ای که نیازمند استدلال ساختاریافته و چندمرحله‌ای است، مانند تولید کد (Code Generation)، حل معماهای منطقی، و حتی برنامه‌ریزی در رباتیک، مورد استفاده قرار گیرد.
• کاهش وابستگی به داده‌های انسانی: با توانمندسازی مدل برای تولید و ارزیابی داده‌های آموزشی خود، این روش نیاز به مجموعه داده‌های عظیم با چندین راه‌حل دست‌نویس توسط انسان را کاهش می‌دهد. این امر فرآیند آموزش را مقیاس‌پذیرتر و کم‌هزینه‌تر می‌کند.
• ایجاد مدل‌های منعطف‌تر و خلاق‌تر: مدل‌هایی که با این روش آموزش می‌بینند، تنها یک مسیر را حفظ نمی‌کنند، بلکه مجموعه‌ای از استراتژی‌های حل مسئله را می‌آموزند. این امر آن‌ها را در مواجهه با مسائل جدید و غیرمنتظره، قوی‌تر و خلاق‌تر می‌سازد.
• در دسترس قرار دادن کد منبع: نویسندگان کد پروژه خود را به صورت عمومی در گیت‌هاب (GitHub) منتشر کرده‌اند که این یک دستاورد مهم برای جامعه علمی است و به دیگر محققان اجازه می‌دهد تا بر پایه این کار، نوآوری‌های جدیدی را توسعه دهند.

مقاله «یادگیری استدلال ریاضی از راه‌حل‌های صحیح و نیمه‌صحیحِ خودتولیدشده» یک گام مهم به سوی ساخت مدل‌های هوش مصنوعی با توانایی استدلال عمیق‌تر و منعطف‌تر است. این پژوهش با موفقیت نشان می‌دهد که محدودیت‌های ناشی از داده‌های آموزشی تک‌راه‌حلی را می‌توان با یک رویکرد یادگیری فعال و مبتنی بر خودنمونه‌برداری برطرف کرد.

نوآوری کلیدی این مقاله، یعنی ارزش‌گذاری و یادگیری از راه‌حل‌های نیمه‌صحیح، به مدل‌ها این امکان را می‌دهد که حتی از اشتباهات خود درس بگیرند و فرآیند کاوش در فضای پیچیده راه‌حل‌ها را بهینه‌سازی کنند. نتایج چشمگیر به‌دست‌آمده در مجموعه داده‌های معتبر، اثربخشی این رویکرد را تأیید می‌کند و مسیری جدید را برای آموزش نسل بعدی سیستم‌های هوشمند که قادر به حل مسائل پیچیده به شیوه‌ای شبیه به انسان هستند، هموار می‌سازد.