در سال‌های اخیر، مدل‌های زبانی بزرگ (Large Language Models – LMs) پیشرفت‌های چشمگیری در طیف وسیعی از وظایف پردازش زبان طبیعی (NLP) و حتی در حوزه‌های پیچیده‌تر مانند استدلال از خود نشان داده‌اند. این مدل‌ها توانایی‌های خارق‌العاده‌ای در تولید متن، خلاصه‌سازی، ترجمه و حتی پاسخگویی به سوالات پیچیده دارند. با این حال، پرسش بنیادین همچنان پابرجاست: آیا این مدل‌ها واقعاً “استدلال” می‌کنند یا صرفاً الگوهای آموخته‌شده از داده‌های عظیم را تکرار می‌کنند؟ مقاله با عنوان “محدودیت‌های مدل‌های زبانی در استدلال حسابی و استقرای نمادین” به قلم Jing Qian و همکاران، به بررسی عمیق این پرسش اساسی می‌پردازد و محدودیت‌های ناگهانی و غیرمنتظره این مدل‌ها را در برخی از پایه‌ای‌ترین وظایف نمادین و حسابی آشکار می‌سازد.

اهمیت این تحقیق در آن است که با وجود توانایی‌های ظاهری و در حال گسترش مدل‌های زبانی، هنوز شکاف‌های عمیقی در درک ما از قابلیت‌های اساسی و مرزهای واقعی آن‌ها وجود دارد. شناخت این محدودیت‌ها نه تنها برای طراحی مدل‌های هوش مصنوعی قوی‌تر و قابل اعتمادتر ضروری است، بلکه به ما کمک می‌کند تا درک بهتری از تفاوت بین “الگویابی” صرف و “استدلال واقعی” داشته باشیم. این مقاله به ما یادآوری می‌کند که مسیر طولانی‌ای برای رسیدن به هوش مصنوعی عمومی (AGI) در پیش است و چالش‌های اساسی هنوز حل نشده باقی مانده‌اند.

این تحقیق توسط تیمی از محققان برجسته شامل Jing Qian، Hong Wang، Zekun Li، Shiyang Li و Xifeng Yan انجام شده است. این نویسندگان که اغلب در زمینه هوش مصنوعی، یادگیری ماشین و پردازش زبان طبیعی فعالیت دارند، به دنبال درک عمیق‌تر از معماری و قابلیت‌های بنیادین مدل‌های زبانی هستند.

زمینه تحقیق این مقاله در تقاطع محاسبات و زبان (Computation and Language) قرار می‌گیرد. در حالی که مدل‌های زبانی در زمینه زبان طبیعی به اوج خود رسیده‌اند، این مقاله تمرکز خود را بر روی توانایی آن‌ها در درک و اجرای استدلال‌های منطقی و عملیات نمادین معطوف می‌دارد. این حوزه از تحقیق به دنبال بررسی این است که آیا مدل‌های زبانی می‌توانند فراتر از صرفاً تولید و درک متن، به درک عمیق‌تر از ساختارهای منطقی و ریاضیاتی نیز دست یابند. این مطالعات برای پیشبرد مرزهای هوش مصنوعی و ساخت سیستم‌هایی که قادر به استدلال قوی و قابل اعتماد باشند، حیاتی هستند.

مقاله “محدودیت‌های مدل‌های زبانی در استدلال حسابی و استقرای نمادین” به بررسی عمیق قابلیت‌های بنیادین مدل‌های زبانی بزرگ (LMs) می‌پردازد. این مدل‌ها در انجام طیف وسیعی از وظایف پردازش زبان طبیعی عملکرد چشمگیری از خود نشان داده‌اند و حتی با افزایش مقیاس مدل‌ها، در وظایف استدلالی مانند استقرای حسابی، دستکاری نمادین و استدلال عقل سلیم نیز بهبود یافته‌اند. با این حال، نویسندگان به صورت شگفت‌انگیزی دریافتند که این مدل‌ها در برخی از وظایف اساسی دستکاری نمادین مانند کپی کردن (copy)، معکوس کردن (reverse) و جمع (addition) محدودیت‌های قابل توجهی دارند.

نکات کلیدی خلاصه محتوا عبارتند از:

• عملکرد مدل در این وظایف نمادین با افزایش تعداد کل نمادها یا نمادهای تکراری به سرعت کاهش می‌یابد.
• محققان به بررسی دلایل احتمالی این پدیده پرداختند و مجموعه‌ای از روش‌های ممکن را آزمایش کردند، از جمله:
  • نشانگرهای موقعیتی صریح (explicit positional markers): اضافه کردن اطلاعات مکانی به نمادها.
  • گام‌های محاسباتی دقیق (fine-grained computation steps): شکستن مسئله به مراحل کوچک‌تر و مجزا.
  • مدل‌های زبانی با قابلیت فراخوانی برنامه‌ها (LMs with callable programs): اجازه دادن به مدل برای استفاده از ابزارهای محاسباتی خارجی.
• نتایج تجربی نشان داد که هیچ یک از این تکنیک‌ها نتوانستند ساده‌ترین مسئله استقرای جمع را به طور کامل حل کنند. این یافته‌ها بر وجود یک محدودیت عمیق‌تر در معماری و نحوه یادگیری این مدل‌ها تأکید دارند.
• در نهایت، محققان رویکرد جدیدی به نام “LMs با آموزگار” (LMs with tutor) را معرفی کردند. این رویکرد هر تک‌مرحله از فرآیند آموزش را به مدل نشان می‌دهد.
• نتایج نشان داد که “LMs با آموزگار” قادر به دستیابی به دقت ۱۰۰ درصدی در موقعیت‌های خارج از توزیع (Out-of-Distribution – OOD) و با نمادهای تکراری است. این موفقیت بینش‌های جدیدی را در مورد مرزهای واقعی مدل‌های زبانی بزرگ در استقرا فراهم می‌آورد.

محققان برای آشکارسازی محدودیت‌های مدل‌های زبانی، رویکردی گام‌به‌گام و تجربی را در پیش گرفتند. روش‌شناسی تحقیق بر پایه طراحی آزمایش‌هایی بنا شد که به طور خاص نقاط ضعف مدل‌ها را در وظایف بنیادین نمادین هدف قرار می‌دادند:

الف. وظایف آزمایشی

• کپی (Copy): مدل باید یک دنباله از نمادها را دقیقاً کپی می‌کرد. این وظیفه، توانایی مدل در حفظ توالی و عدم تغییر اطلاعات را می‌آزماید. به عنوان مثال، اگر ورودی “ABC” باشد، خروجی نیز باید “ABC” باشد.
• معکوس کردن (Reverse): مدل باید یک دنباله از نمادها را معکوس می‌کرد. این وظیفه، نیاز به درک موقعیت نسبی و تغییر ترتیب را ارزیابی می‌کند. مثلاً، اگر ورودی “ABC” باشد، خروجی باید “CBA” باشد.
• جمع (Addition): این وظیفه شامل استقرای حسابی برای جمع اعداد بود. به عنوان مثال، جمع زدن دنباله‌هایی از اعداد مانند “1+2=3” و سپس تعمیم آن به موارد پیچیده‌تر یا طولانی‌تر. این وظیفه از مدل می‌خواهد که یک قانون ریاضیاتی را استنتاج و به کار گیرد.

برای هر یک از این وظایف، محققان پیچیدگی ورودی‌ها را به تدریج افزایش دادند، هم از نظر تعداد کل نمادها و هم از نظر وجود نمادهای تکراری، تا نقطه شکست مدل‌ها را پیدا کنند.

ب. بررسی علل بالقوه

پس از مشاهده افت عملکرد، محققان به بررسی علل بنیادین این پدیده پرداختند و فرضیاتی را مطرح کردند که ممکن است مربوط به ناتوانی مدل در حفظ اطلاعات موقعیتی دقیق یا ناتوانی در اجرای گام‌های محاسباتی ریز باشد.

ج. روش‌های مقابله آزمایشی

برای غلبه بر این محدودیت‌ها، چند استراتژی مختلف مورد آزمایش قرار گرفت:

• نشانگرهای موقعیتی صریح: به ورودی‌های مدل، اطلاعات اضافی در مورد موقعیت هر نماد اضافه شد. مثلاً به جای “A B C”، از “A_1 B_2 C_3” استفاده شد. هدف این بود که مدل بتواند به طور صریح موقعیت هر نماد را درک کند.
• گام‌های محاسباتی دقیق: به مدل ورودی‌هایی داده شد که نه تنها مسئله، بلکه مراحل میانی حل را نیز شامل می‌شد. به عنوان مثال، برای “12+34”، ممکن بود ورودی شامل “10+30=40, 2+4=6, 40+6=46” باشد.
• مدل‌های زبانی با قابلیت فراخوانی برنامه‌ها: این رویکرد به مدل اجازه می‌داد تا در صورت نیاز برای انجام عملیات محاسباتی، یک برنامه خارجی (مانند یک مفسر پایتون) را فراخوانی کند. این کار به نوعی شبیه ابزارهای مدرن در مدل‌های امروزی است.

د. رویکرد “LMs با آموزگار”

هنگامی که روش‌های فوق نتوانستند به طور کامل مسئله استقرای جمع را حل کنند، محققان رویکرد نوآورانه “LMs با آموزگار” را معرفی کردند. در این روش، به جای صرفاً ارائه ورودی و خروجی یا حتی مراحل میانی بدون ساختار، مدل با هر تک‌گام آموزشی، به شیوه‌ای مشابه یک معلم که هر بخش از راه‌حل را به تفصیل توضیح می‌دهد، مواجه می‌شود. این رویکرد فراتر از “زنجیره تفکر” (chain-of-thought) عمل می‌کند و به طور صریح چگونگی استدلال گام به گام را به مدل می‌آموزد، حتی برای نمونه‌های خارج از توزیع داده‌های آموزشی. این مدل به گونه‌ای تربیت می‌شود که بتواند از این “درس‌ها” برای تعمیم به مسائل جدید استفاده کند.

یافته‌های این مطالعه تصویر روشن و در عین حال چالش‌برانگیزی از قابلیت‌ها و محدودیت‌های مدل‌های زبانی بزرگ ارائه می‌دهند. این یافته‌ها به چند دسته اصلی تقسیم می‌شوند:

الف. محدودیت‌های بنیادی در وظایف نمادین پایه

• افت سریع عملکرد: مدل‌های زبانی در وظایف به ظاهر ساده‌ای مانند کپی، معکوس کردن و جمع، به محض اینکه تعداد کل نمادها یا تعداد نمادهای تکراری در ورودی افزایش می‌یابد، به سرعت دچار افت عملکرد می‌شوند. این نشان می‌دهد که مدل‌ها به جای درک قواعد بنیادین، به شدت به الگوهای طول و توالی خاصی متکی هستند که در داده‌های آموزشی دیده‌اند. به عنوان مثال، اگر مدلی برای کپی کردن دنباله‌های سه حرفی آموزش دیده باشد، ممکن است در کپی کردن دنباله‌های پنج حرفی عملکرد بسیار ضعیفی داشته باشد.
• مشکل در تعمیم به خارج از توزیع (OOD): حتی در نمونه‌های آموزشی که مدل به درستی عمل می‌کند، توانایی آن برای تعمیم به موارد جدید و خارج از توزیع (یعنی ورودی‌هایی که ساختار یا طول متفاوتی دارند)، بسیار محدود است. این به معنای عدم وجود درک واقعی از قاعده استقرایی است.

ب. عدم موفقیت روش‌های متداول بهبود

محققان برای غلبه بر این محدودیت‌ها، روش‌های مختلفی را آزمایش کردند که انتظار می‌رفت عملکرد مدل را بهبود بخشند:

• نشانگرهای موقعیتی صریح: اضافه کردن اطلاعات مکانی به هر نماد کمکی به حل کامل مشکل نکرد. این نشان می‌دهد که مشکل فراتر از عدم آگاهی مدل از موقعیت نمادهاست و ممکن است به نحوه پردازش این اطلاعات مربوط باشد.
• گام‌های محاسباتی دقیق: تجزیه مسئله به مراحل کوچک‌تر نیز نتوانست به طور کامل عملکرد مدل را در استقرای جمع بهبود بخشد. این یافته نشان می‌دهد که مدل صرفاً با دیدن مراحل، لزوماً قادر به استنتاج یا تقلید صحیح روند استدلال در موارد جدید نیست.
• LMs با قابلیت فراخوانی برنامه‌ها: اگرچه این روش‌ها ممکن است در برخی موارد به مدل کمک کنند تا از ابزارهای خارجی برای انجام محاسبات دقیق استفاده کند، اما نتوانستند مشکل استقرای نمادین را در مورد جمع به طور کامل برطرف کنند. این نشان‌دهنده آن است که حتی دسترسی به یک “ماشین حساب” نیز به مدل کمکی نمی‌کند که قاعده “چگونه باید از این ماشین حساب استفاده کرد” را به طور موثر استنتاج کند.

ج. موفقیت چشمگیر رویکرد “LMs با آموزگار”

مهم‌ترین و برجسته‌ترین یافته این مطالعه، موفقیت چشمگیر رویکرد “LMs با آموزگار” بود:

• دقت ۱۰۰٪: این مدل توانست به دقت ۱۰۰ درصدی در وظایف نمادین، حتی در سناریوهای خارج از توزیع (OOD) و با نمادهای تکراری دست یابد. این بدان معناست که مدل با دیدن توضیحات گام به گام و ساختاریافته از نحوه حل مسائل، توانست قاعده بنیادی را به درستی استنتاج و تعمیم دهد.
• بینش جدید: این موفقیت نشان می‌دهد که محدودیت‌های قبلی ممکن است نه به دلیل عدم توانایی ذاتی مدل در یادگیری استدلال، بلکه به دلیل شیوه نامناسب آموزش یا نمایش ناکافی مراحل استدلال باشد. با ارائه “هر تک‌گام از آموزش”، مدل می‌تواند یک مدل ذهنی قوی‌تر از فرآیند استدلال ایجاد کند که به آن امکان می‌دهد تا قواعد را به طور صحیح تعمیم دهد. این روش به مدل کمک می‌کند تا “چرایی” پشت الگوها را درک کند، نه فقط “چه چیزی” را.

دستاوردهای این مقاله دارای پیامدهای عمیقی برای توسعه آینده مدل‌های هوش مصنوعی و به ویژه مدل‌های زبانی است. “LMs با آموزگار” یک پارادایم جدید برای آموزش مدل‌ها معرفی می‌کند که می‌تواند بسیاری از محدودیت‌های کنونی را از بین ببرد.

الف. بهبود استدلال و قابلیت اطمینان مدل‌ها

• استدلال قوی‌تر: توانایی دستیابی به دقت ۱۰۰% در وظایف استقرایی دشوار، نشان‌دهنده پتانسیل عظیم این رویکرد برای ساخت مدل‌هایی است که قادر به استدلال منطقی و حسابی بسیار قوی‌تر هستند. این امر می‌تواند منجر به کاربردهای قابل اعتمادتر هوش مصنوعی در زمینه‌هایی شود که نیاز به دقت بالا دارند، مانند سیستم‌های مالی، پزشکی یا مهندسی.
• کاهش خطاهای تعمیم: با آموزش گام به گام، مدل‌ها می‌توانند قواعد را به جای الگوهای سطحی، درونی‌سازی کنند. این به معنای کاهش چشمگیر خطاهای تعمیم در سناریوهای خارج از توزیع است، که یکی از نقاط ضعف اصلی مدل‌های زبانی فعلی است.

ب. پیشرفت در هوش مصنوعی آموزشی

• سیستم‌های آموزشی هوشمند: این رویکرد می‌تواند الهام‌بخش طراحی سیستم‌های هوش مصنوعی آموزشی باشد که نه تنها پاسخ را ارائه می‌دهند، بلکه نحوه رسیدن به پاسخ را به صورت گام به گام آموزش می‌دهند. این می‌تواند به دانشجویان و دانش‌آموزان در یادگیری مفاهیم پیچیده کمک شایانی کند.
• تولید توضیح‌پذیر: مدل‌های آموزش‌دیده با این روش می‌توانند نه تنها نتایج، بلکه مسیر استدلالی که به آن نتیجه منجر شده است را نیز تولید کنند. این قابلیت “توضیح‌پذیری” (explainability) برای بسیاری از کاربردها، به‌ویژه در حوزه‌های حساس، بسیار ارزشمند است.

ج. درک عمیق‌تر از مرزهای هوش مصنوعی

• مرزهای LMs: این تحقیق بینش‌های جدیدی را در مورد مرزهای واقعی مدل‌های زبانی بزرگ در زمینه استقرا فراهم می‌کند. مشخص شد که مشکل لزوماً در ناتوانی ذاتی مدل‌ها نیست، بلکه در چگونگی آموزش و نمایش اطلاعات به آن‌هاست. این دستاورد، مسیرهای جدیدی را برای تحقیقات آینده در زمینه معماری مدل‌ها و روش‌های آموزشی باز می‌کند.
• ترکیب رویکردهای نمادین و زیرنمادین: این کار پیشنهاد می‌کند که ترکیب نقاط قوت شبکه‌های عصبی (برای الگوشناسی و تولید زبان) با رویکردهای ساختاریافته‌تر و نمادین (برای استدلال) ممکن است کلید دستیابی به هوش مصنوعی پیشرفته‌تر باشد. “LMs با آموزگار” نمونه‌ای از این رویکرد هیبریدی است که در آن آموزش ساختاریافته، مدل را قادر می‌سازد تا قابلیت‌های نمادین را در خود جای دهد.

مقاله “محدودیت‌های مدل‌های زبانی در استدلال حسابی و استقرای نمادین” یک نقطه عطف مهم در درک ما از توانایی‌های واقعی و مرزهای مدل‌های زبانی بزرگ است. این تحقیق به روشنی نشان می‌دهد که با وجود پیشرفت‌های چشمگیر در پردازش زبان طبیعی، این مدل‌ها هنوز در وظایف بنیادین استدلال نمادین و حسابی با چالش‌های جدی روبرو هستند. محدودیت‌هایی مانند افت سریع عملکرد با افزایش پیچیدگی ورودی و ناتوانی در تعمیم به سناریوهای خارج از توزیع، بر نیاز به رویکردهای نوین تاکید می‌کنند.

نکته کلیدی این تحقیق، نه فقط آشکارسازی محدودیت‌ها، بلکه ارائه یک راه‌حل کارآمد و الهام‌بخش است. رویکرد “LMs با آموزگار” با ارائه آموزش گام به گام و تشریح هر مرحله از استدلال، توانست به دقت ۱۰۰ درصدی دست یابد و این پتانسیل را نشان دهد که مدل‌های زبانی، در صورت آموزش صحیح و ساختاریافته، قادر به انجام استدلال‌های نمادین پیچیده هستند.

در نهایت، این مقاله مسیرهای جدیدی را برای تحقیقات آینده هموار می‌کند. برای ساخت سیستم‌های هوش مصنوعی که نه تنها می‌توانند زبان را درک و تولید کنند، بلکه قادر به استدلال منطقی و حل مسائل پیچیده به شیوه‌ای قابل اعتماد باشند، باید به سمت روش‌های آموزشی هوشمندانه‌تر و ساختاریافته‌تر حرکت کنیم. این امر مستلزم ترکیب قدرت شبکه‌های عصبی با اصول استدلال نمادین و آموزش تدریجی است. این تحقیق به ما یادآوری می‌کند که هوش مصنوعی واقعی نیازمند درک عمیق‌تر از “چگونگی” و “چرایی” فراتر از صرفاً “چه چیزی” است و در این راستا، نقش آموزگار (توتور) در تعلیم مدل‌ها، حیاتی به نظر می‌رسد.