مسائل کلامی ریاضی (MWPs) چالشی مهم در حوزه‌ی پردازش زبان طبیعی (NLP) محسوب می‌شوند. این مسائل نیازمند درک زبان، استخراج اطلاعات مرتبط و تبدیل آن به معادلات ریاضی قابل حل هستند. رویکردهای موجود برای حل MWPها اغلب به نظارت کامل نیاز دارند، به این معنی که برای آموزش مدل، باید معادلات میانی که مراحل حل مسئله را نشان می‌دهند، در اختیار داشته باشیم. اما تهیه‌ی چنین مجموعه‌داده‌هایی که هر مسئله کلامی با معادلات مربوطه برچسب‌گذاری شده باشد، کاری زمان‌بر و پرهزینه است. این مقاله با عنوان “WARM: مدلی با نظارت ضعیف (و نیمه‌نظارتی) برای حل مسائل کلامی ریاضی” به این چالش پاسخ می‌دهد و یک مدل با نظارت ضعیف ارائه می‌کند که تنها به دانستن پاسخ نهایی مسئله برای آموزش نیاز دارد.

این مقاله توسط Oishik Chatterjee، Isha Pandey، Aashish Waikar، Vishwajeet Kumar و Ganesh Ramakrishnan به رشته تحریر درآمده است. نویسندگان این مقاله در زمینه‌های پردازش زبان طبیعی، یادگیری ماشین و به‌ویژه در زمینه‌ی حل مسائل کلامی ریاضی فعالیت می‌کنند. تمرکز اصلی آنها بر روی توسعه‌ی روش‌هایی است که بتوان با استفاده از داده‌های کم‌برچسب یا بدون برچسب، مدل‌های قدرتمندی برای حل مسائل پیچیده ایجاد کرد.

چکیده‌ی این مقاله به این صورت است: حل مسائل کلامی ریاضی (MWPs) یک مسئله مهم و چالش‌برانگیز در پردازش زبان طبیعی است. رویکردهای موجود برای حل MWPها به نظارت کامل در قالب معادلات میانی نیاز دارند. با این حال، برچسب‌گذاری هر MWP با معادلات مربوطه، کاری زمان‌بر و پرهزینه است. به منظور پاسخگویی به این چالش مربوط به حاشیه‌نویسی معادلات، ما یک مدل با نظارت ضعیف برای حل MWPها با نیاز فقط به پاسخ نهایی به عنوان نظارت پیشنهاد می‌کنیم. ما با یادگیری ابتدا تولید معادله با استفاده از توضیحات مسئله و پاسخ نهایی، به این مسئله نزدیک می‌شویم که متعاقباً از آن برای آموزش یک حل‌کننده‌ی MWP با نظارت استفاده می‌کنیم. ما تکنیک‌های مختلف با نظارت ضعیف را برای یادگیری تولید معادلات به طور مستقیم از توضیحات و پاسخ مسئله پیشنهاد و مقایسه می‌کنیم. از طریق آزمایش‌های گسترده، نشان می‌دهیم که بدون استفاده از معادلات برای نظارت، رویکرد ما به ترتیب به دستاوردهای دقت 4.5% و 32% نسبت به رویکرد پیشرفته با نظارت ضعیف، در مجموعه‌داده‌های استاندارد Math23K و AllArith دست می‌یابد. علاوه بر این، ما مجموعه‌داده‌های جدیدی با تقریباً 10k MWP در هر یک از زبان‌های انگلیسی و هندی (یک زبان با منابع کم) تهیه و منتشر می‌کنیم. این مجموعه‌داده‌ها برای آموزش مدل‌های با نظارت ضعیف مناسب هستند. همچنین یک پسوند WARMM به یادگیری نیمه‌نظارتی را ارائه می‌کنیم و پیشرفت‌های بیشتری را در نتایج، همراه با بینش‌ها، ارائه می‌دهیم.

به طور خلاصه، این مقاله یک روش نوین برای حل مسائل کلامی ریاضی ارائه می‌دهد که نیازی به معادلات میانی برچسب‌گذاری شده ندارد. این امر به طور قابل توجهی هزینه‌ی تهیه‌ی مجموعه‌داده‌های آموزشی را کاهش می‌دهد و امکان استفاده از داده‌های بیشتری را فراهم می‌کند. مدل پیشنهادی، با نام WARM، ابتدا نحوه‌ی تولید معادله از توضیحات مسئله و پاسخ نهایی را یاد می‌گیرد و سپس از این معادله برای آموزش یک حل‌کننده‌ی مسائل کلامی استفاده می‌کند. نتایج آزمایش‌ها نشان می‌دهد که این رویکرد در مقایسه با روش‌های موجود، به دقت بالاتری دست می‌یابد.

روش‌شناسی این تحقیق بر پایه‌ی استفاده از نظارت ضعیف است. به جای استفاده از معادلات میانی به عنوان داده‌های آموزشی، مدل WARM تنها با استفاده از توضیحات مسئله و پاسخ نهایی آموزش داده می‌شود. این فرآیند به دو مرحله‌ی اصلی تقسیم می‌شود:

• تولید معادله: در این مرحله، مدل یاد می‌گیرد که با دریافت توضیحات مسئله و پاسخ نهایی، معادله‌ی ریاضی مربوطه را تولید کند. این کار با استفاده از تکنیک‌های مختلف یادگیری ماشین و مدل‌های زبانی انجام می‌شود. برای مثال، ممکن است از یک مدل ترنسفورمر برای تولید دنباله‌ای از عملیات ریاضی (مانند جمع، تفریق، ضرب، تقسیم) استفاده شود که در نهایت به پاسخ نهایی منجر می‌شود.
• حل مسئله: پس از تولید معادله، از آن برای آموزش یک حل‌کننده‌ی مسائل کلامی ریاضی استفاده می‌شود. این حل‌کننده می‌تواند یک شبکه‌ی عصبی یا یک الگوریتم دیگر باشد که با دریافت معادله‌ی ریاضی، قادر به حل آن و رسیدن به پاسخ نهایی است.

نویسندگان در این مقاله، تکنیک‌های مختلفی را برای تولید معادله با استفاده از نظارت ضعیف پیشنهاد و مقایسه کرده‌اند. آن‌ها همچنین مجموعه‌داده‌های جدیدی را در زبان‌های انگلیسی و هندی ایجاد کرده‌اند که برای آموزش مدل‌های با نظارت ضعیف مناسب هستند.

برای درک بهتر، فرض کنید مسئله‌ی زیر را داریم:

مسئله: علی 5 سیب دارد و رضا 3 سیب دیگر به او می‌دهد. حالا علی چند سیب دارد؟

پاسخ نهایی: 8

مدل WARM با استفاده از توضیحات مسئله و پاسخ نهایی، سعی می‌کند معادله‌ی 5 + 3 = 8 را تولید کند. پس از تولید این معادله، یک حل‌کننده‌ی مسائل کلامی با استفاده از این معادله آموزش داده می‌شود تا بتواند مسائل مشابه را حل کند.

یافته‌های کلیدی این تحقیق به شرح زیر است:

• بهبود دقت: مدل WARM در مقایسه با روش‌های پیشین با نظارت ضعیف، بهبود قابل توجهی در دقت حل مسائل کلامی ریاضی داشته است. به طور خاص، این مدل در مجموعه‌داده‌های Math23K و AllArith به ترتیب به دقت 4.5% و 32% بالاتر دست یافته است.
• مجموعه‌داده‌های جدید: نویسندگان مجموعه‌داده‌های جدیدی را در زبان‌های انگلیسی و هندی ایجاد کرده‌اند که برای آموزش مدل‌های با نظارت ضعیف مناسب هستند. این مجموعه‌داده‌ها به محققان دیگر کمک می‌کنند تا در این زمینه به تحقیق و توسعه بپردازند.
• یادگیری نیمه‌نظارتی: این مقاله یک نسخه‌ی توسعه‌یافته از مدل WARM را نیز ارائه می‌دهد که از یادگیری نیمه‌نظارتی استفاده می‌کند. این مدل با استفاده از ترکیبی از داده‌های برچسب‌گذاری شده و بدون برچسب، به دقت بالاتری دست می‌یابد.

این یافته‌ها نشان می‌دهند که استفاده از نظارت ضعیف می‌تواند یک رویکرد موثر برای حل مسائل کلامی ریاضی باشد. مدل WARM با کاهش وابستگی به داده‌های برچسب‌گذاری شده، امکان استفاده از داده‌های بیشتری را فراهم می‌کند و به دقت بالاتری دست می‌یابد.

کاربردها و دستاوردهای این تحقیق عبارتند از:

• کاهش هزینه‌ی تهیه‌ی داده‌های آموزشی: مدل WARM با استفاده از نظارت ضعیف، نیاز به برچسب‌گذاری معادلات میانی را از بین می‌برد. این امر به طور قابل توجهی هزینه‌ی تهیه‌ی مجموعه‌داده‌های آموزشی را کاهش می‌دهد.
• بهبود دقت حل مسائل کلامی ریاضی: مدل WARM در مقایسه با روش‌های پیشین، دقت بالاتری در حل مسائل کلامی ریاضی دارد. این امر می‌تواند در کاربردهای مختلفی مانند آموزش، حل تمرین‌های ریاضی و توسعه‌ی سیستم‌های هوشمند مفید باشد.
• توسعه‌ی سیستم‌های حل مسئله در زبان‌های با منابع کم: نویسندگان مجموعه‌داده‌های جدیدی را در زبان‌های انگلیسی و هندی ایجاد کرده‌اند. این مجموعه‌داده‌ها به توسعه‌ی سیستم‌های حل مسئله در زبان‌های با منابع کم کمک می‌کنند.
• ارائه‌ی یک چارچوب انعطاف‌پذیر: مدل WARM یک چارچوب انعطاف‌پذیر برای حل مسائل کلامی ریاضی است که می‌تواند با تکنیک‌های مختلف یادگیری ماشین و مدل‌های زبانی ترکیب شود.

به طور کلی، این تحقیق گامی مهم در جهت توسعه‌ی سیستم‌های هوشمند برای حل مسائل کلامی ریاضی است. مدل WARM با استفاده از نظارت ضعیف، امکان استفاده از داده‌های بیشتری را فراهم می‌کند و به دقت بالاتری دست می‌یابد. این امر می‌تواند در کاربردهای مختلفی مانند آموزش و توسعه‌ی سیستم‌های هوشمند مفید باشد.

مقاله “WARM: مدلی با نظارت ضعیف (و نیمه‌نظارتی) برای حل مسائل کلامی ریاضی” یک روش نوین و موثر برای حل این مسائل ارائه می‌دهد. این مدل با استفاده از نظارت ضعیف، نیاز به برچسب‌گذاری معادلات میانی را از بین می‌برد و امکان استفاده از داده‌های بیشتری را فراهم می‌کند. نتایج آزمایش‌ها نشان می‌دهد که مدل WARM در مقایسه با روش‌های پیشین، به دقت بالاتری دست می‌یابد. این تحقیق گامی مهم در جهت توسعه‌ی سیستم‌های هوشمند برای حل مسائل کلامی ریاضی است و می‌تواند در کاربردهای مختلفی مانند آموزش و توسعه‌ی سیستم‌های هوشمند مفید باشد.

در نهایت، می‌توان گفت که این مقاله یک منبع ارزشمند برای محققان و توسعه‌دهندگانی است که در زمینه‌ی پردازش زبان طبیعی، یادگیری ماشین و حل مسائل کلامی ریاضی فعالیت می‌کنند.