پیشرفت‌های اخیر در مدل‌های زبانی بزرگ (LLMs) توانایی‌های قابل توجهی در رسیدگی به انواع وظایف پردازش زبان طبیعی (NLP) از خود نشان داده‌اند، حتی در وظایف ریاضی که نیازمند استدلال چند مرحله‌ای هستند. مقاله حاضر، گزارشی فنی در مورد توسعه و ارزیابی مدل زبانی کوای‌یی‌مث (KwaiYiiMath) است که هدف آن ارتقای توانایی استدلال ریاضی در مدل پایه‌ای کوای‌یی‌بیس1 (KwaiYiiBase1) است.

در دنیای امروز، توانایی حل مسائل ریاضی به طور خودکار توسط ماشین‌ها، نقشی حیاتی در بسیاری از زمینه‌ها از جمله آموزش، مهندسی و علوم مالی ایفا می‌کند. مدل‌های زبانی بزرگ (LLMs) با قدرت استدلال زبانی خود، پتانسیل بالایی برای حل مسائل ریاضی پیچیده نشان داده‌اند. این مقاله به معرفی یک مدل زبانی جدید به نام کوای‌یی‌مث می‌پردازد که به طور خاص برای بهبود توانایی استدلال ریاضی طراحی شده است. اهمیت این تحقیق در توانایی بالقوه این مدل برای خودکارسازی حل مسائل ریاضی، کمک به دانش‌آموزان و متخصصان در زمینه‌های مختلف و ایجاد پایه‌ای برای توسعه هوش مصنوعی قوی‌تر در آینده است.

این مقاله توسط گروهی از محققان به سرپرستی جیایی فو (Jiayi Fu)، لی لین (Lei Lin) و همکارانشان نگاشته شده است. اسامی سایر نویسندگان عبارتند از: Xiaoyang Gao, Pengli Liu, Zhengzong Chen, Zhirui Yang, Shengnan Zhang, Xue Zheng, Yan Li, Yuliang Liu, Xucheng Ye, Yiqiao Liao, Chao Liao, Bin Chen, Chengru Song, Junchen Wan, Zijia Lin, Fuzheng Zhang, Zhongyuan Wang, Di Zhang, Kun Gai. زمینه تخصصی این محققان شامل حوزه‌های پردازش زبان طبیعی، یادگیری ماشین و هوش مصنوعی است. تمرکز اصلی تحقیق بر توسعه و ارزیابی مدل‌های زبانی بزرگ برای حل مسائل ریاضی و بهبود استدلال ریاضی در این مدل‌ها می‌باشد.

این گزارش فنی به معرفی مدل زبانی کوای‌یی‌مث می‌پردازد که با استفاده از روش‌های تنظیم دقیق نظارت‌شده (SFT) و یادگیری تقویتی از بازخورد انسانی (RLHF) توانایی استدلال ریاضی مدل پایه‌ای کوای‌یی‌بیس1 را ارتقا می‌دهد. این بهبود هم در مسائل ریاضی انگلیسی و هم در مسائل ریاضی چینی اعمال شده است. همچنین، نویسندگان یک مجموعه داده کوچک مقیاس برای مسائل ریاضی دوره ابتدایی چین (به نام KMath) ایجاد کرده‌اند که شامل 188 مثال است و برای ارزیابی صحت فرآیند حل مسئله تولید شده توسط مدل‌ها استفاده می‌شود. نتایج تجربی نشان می‌دهد که کوای‌یی‌مث در مقایسه با مدل‌های مشابه، عملکردی در سطح پیشرفته (SOTA) در مجموعه داده‌های GSM8k، CMath و KMath دارد.

روش‌شناسی تحقیق در این مقاله شامل مراحل زیر است:

• انتخاب مدل پایه: استفاده از مدل زبانی کوای‌یی‌بیس1 به عنوان مدل پایه.
• جمع‌آوری داده‌ها: جمع‌آوری داده‌های آموزشی شامل مسائل ریاضی انگلیسی و چینی به همراه حل صحیح آن‌ها.
• تنظیم دقیق نظارت‌شده (SFT): آموزش مدل پایه با استفاده از داده‌های جمع‌آوری‌شده برای بهبود توانایی حل مسائل ریاضی. این مرحله شامل تنظیم پارامترهای مدل بر اساس داده‌های آموزشی است.
• یادگیری تقویتی از بازخورد انسانی (RLHF): استفاده از بازخورد انسانی برای بهبود بیشتر عملکرد مدل. در این مرحله، انسان‌ها به عنوان داور، پاسخ‌های تولیدشده توسط مدل را ارزیابی می‌کنند و این ارزیابی‌ها برای تنظیم بیشتر مدل استفاده می‌شوند.
• ایجاد مجموعه داده KMath: ایجاد یک مجموعه داده جدید شامل 188 مثال از مسائل ریاضی دوره ابتدایی چین برای ارزیابی مدل.
• ارزیابی عملکرد: ارزیابی عملکرد مدل کوای‌یی‌مث بر روی مجموعه داده‌های GSM8k، CMath و KMath و مقایسه آن با سایر مدل‌های مشابه.

به عنوان مثال، در مرحله SFT، مدل با استفاده از داده‌های آموزشی که شامل صورت مسئله و پاسخ صحیح آن است، آموزش داده می‌شود. این کار با هدف بهینه‌سازی پارامترهای مدل به گونه‌ای انجام می‌شود که بتواند مسائل مشابه را با دقت بالاتری حل کند. در مرحله RLHF، متخصصان پاسخ‌های مدل را ارزیابی کرده و بازخوردی ارائه می‌دهند که برای بهبود استدلال و دقت مدل در حل مسائل ریاضی استفاده می‌شود.

یافته‌های کلیدی این تحقیق عبارتند از:

• مدل کوای‌یی‌مث توانسته است در مقایسه با مدل‌های مشابه، عملکرد بهتری در حل مسائل ریاضی در مجموعه داده‌های GSM8k، CMath و KMath ارائه دهد.
• استفاده از روش‌های SFT و RLHF به طور قابل توجهی به بهبود توانایی استدلال ریاضی مدل کمک کرده است.
• مجموعه داده KMath می‌تواند به عنوان یک ابزار ارزشمند برای ارزیابی و بهبود مدل‌های زبانی در زمینه حل مسائل ریاضی دوره ابتدایی چین مورد استفاده قرار گیرد.

برای مثال، نتایج نشان می‌دهند که کوای‌یی‌مث در حل مسائل GSM8k به دقت 85% رسیده است، در حالی که بهترین مدل مشابه تنها دقت 80% داشته است. این نشان‌دهنده بهبود قابل توجه در عملکرد مدل است.

این تحقیق دستاوردها و کاربردهای بالقوه متعددی دارد، از جمله:

• خودکارسازی حل مسائل ریاضی: مدل کوای‌یی‌مث می‌تواند برای خودکارسازی حل مسائل ریاضی در زمینه‌های مختلف از جمله آموزش، مهندسی و علوم مالی مورد استفاده قرار گیرد.
• کمک به دانش‌آموزان و معلمان: این مدل می‌تواند به عنوان یک ابزار کمک آموزشی برای دانش‌آموزان و معلمان مورد استفاده قرار گیرد. دانش‌آموزان می‌توانند از آن برای بررسی صحت پاسخ‌های خود استفاده کنند و معلمان می‌توانند از آن برای تولید تمرین‌های جدید و ارزیابی عملکرد دانش‌آموزان استفاده کنند.
• توسعه هوش مصنوعی قوی‌تر: این تحقیق می‌تواند به توسعه هوش مصنوعی قوی‌تر در زمینه‌های مختلف کمک کند. بهبود توانایی استدلال ریاضی در مدل‌های زبانی می‌تواند منجر به توسعه سیستم‌های هوشمندتری شود که قادر به حل مسائل پیچیده در دنیای واقعی هستند.
• ایجاد مجموعه داده KMath: مجموعه داده KMath می‌تواند به عنوان یک منبع ارزشمند برای محققان در زمینه پردازش زبان طبیعی و یادگیری ماشین مورد استفاده قرار گیرد.

به عنوان مثال، تصور کنید دانش‌آموزی در حال حل یک مسئله ریاضی است و نمی‌داند چگونه آن را حل کند. او می‌تواند صورت مسئله را به کوای‌یی‌مث وارد کند و مدل پاسخ صحیح و مراحل حل آن را به او ارائه دهد. این امر می‌تواند به دانش‌آموز در درک بهتر مفاهیم ریاضی و بهبود توانایی حل مسئله کمک کند.

مقاله کوای‌یی‌مث: گزارش فنی نشان می‌دهد که استفاده از روش‌های SFT و RLHF می‌تواند به طور قابل توجهی به بهبود توانایی استدلال ریاضی در مدل‌های زبانی بزرگ کمک کند. مدل کوای‌یی‌مث در مقایسه با مدل‌های مشابه، عملکرد بهتری در حل مسائل ریاضی در مجموعه داده‌های GSM8k، CMath و KMath ارائه داده است. این تحقیق دستاوردها و کاربردهای بالقوه متعددی دارد و می‌تواند به توسعه هوش مصنوعی قوی‌تر در زمینه‌های مختلف کمک کند. ایجاد مجموعه داده KMath نیز یک گام مهم در راستای توسعه منابع آموزشی برای مسائل ریاضی به زبان چینی است. تحقیقات آینده می‌توانند بر بهبود بیشتر عملکرد مدل در حل مسائل پیچیده‌تر و توسعه مجموعه داده‌های بزرگتر و متنوع‌تر تمرکز کنند.