در سال‌های اخیر، مدل‌های زبان بزرگ (Large Language Models یا LLMs) مانند سری GPT و BERT، انقلابی در حوزه پردازش زبان طبیعی (NLP) ایجاد کرده‌اند. این مدل‌ها با آموزش روی حجم عظیمی از داده‌های متنی، توانایی‌های شگفت‌انگیزی در تولید، درک و ترجمه زبان انسان کسب کرده‌اند. اما یک پرسش بنیادین همواره مطرح بوده است: آیا این مدل‌ها صرفاً «طوطی‌های آماری» هستند که الگوهای زبانی را تکرار می‌کنند، یا در فرآیند یادگیری، به درکی عمیق‌تر و توانایی‌های استدلالی فراتر از زبان دست می‌یابند؟

مقاله «مدل‌های زبان بزرگ ورای زبان چه می‌آموزند؟» نوشته آویناش ماداسو و شاشانک سریواستاوا، دقیقاً به همین پرسش کلیدی می‌پردازد. اهمیت این تحقیق در آن است که تلاش می‌کند پرده از توانایی‌های پنهان این مدل‌ها بردارد و نشان دهد که فرآیند «پیش‌آموزش» (Pre-training) روی متون، ممکن است به این مدل‌ها سوگیری‌های استقرایی (Inductive Biases) مفیدی برای حل مسائل غیرزبانی نیز بیاموزد. اگر این فرضیه درست باشد، درک ما از ماهیت و کاربردهای LLMها به کلی دگرگون خواهد شد و آن‌ها را از ابزارهای صرفاً زبانی به موتورهای حل مسئله‌ی عمومی تبدیل خواهد کرد.

این مقاله توسط آویناش ماداسو (Avinash Madasu) و شاشانک سریواستاوا (Shashank Srivastava)، پژوهشگران حوزه هوش مصنوعی و پردازش زبان طبیعی، به نگارش درآمده است. این تحقیق در بستر یکی از داغ‌ترین مباحث علم کامپیوتر، یعنی درک قابلیت‌های واقعی مدل‌های زبان بزرگ، قرار می‌گیرد.

برای درک بهتر زمینه تحقیق، باید با دو مفهوم کلیدی آشنا شویم:

• پیش‌آموزش (Pre-training): این مرحله‌ای است که در آن یک مدل عظیم روی میلیاردها کلمه از متون اینترنتی، کتاب‌ها و مقالات آموزش می‌بیند. هدف اصلی در این مرحله، یادگیری پیش‌بینی کلمه بعدی در یک جمله است. این فرآیند به مدل کمک می‌کند تا ساختار، گرامر و روابط معنایی زبان را بیاموزد.
• سوگیری استقرایی (Inductive Bias): به زبان ساده، سوگیری استقرایی مجموعه‌ای از فرضیات یا دانش اولیه‌ای است که یک مدل برای یادگیری بهتر و سریع‌تر از داده‌ها از آن استفاده می‌کند. برای مثال، شبکه‌های عصبی کانولوشنی (CNN) که در پردازش تصویر استفاده می‌شوند، دارای سوگیری استقرایی برای تشخیص الگوهای محلی (مانند لبه‌ها و بافت‌ها) هستند. سوال اصلی این مقاله این است: آیا پیش‌آموزش روی متن، به LLMها یک سوگیری استقرایی برای استدلال منطقی و ساختاری می‌دهد؟

این مقاله به بررسی این موضوع می‌پردازد که آیا مدل‌های زبان که بر روی حجم عظیمی از داده‌های متنی پیش‌آموزش دیده‌اند، توانایی‌هایی فراتر از درک زبان کسب می‌کنند یا خیر. نویسندگان این فرضیه را مطرح می‌کنند که فرآیند پیش‌آموزش، سوگیری‌های استقرایی مفیدی را در این مدل‌ها ایجاد می‌کند که به آن‌ها در حل مسائل غیرزبانی و استدلالی کمک می‌کند.

برای آزمودن این فرضیه، پژوهشگران مجموعه‌ای شامل ۱۹ وظیفه (Task) متنوع و کاملاً غیرزبانی طراحی کردند. این وظایف شامل محاسبات کمی، تشخیص عبارات منظم (Regular Expressions) و استدلال روی رشته‌های کاراکتری بودند. سپس عملکرد دو گروه از مدل‌ها را روی این وظایف مقایسه کردند: مدل‌های پیش‌آموزش‌دیده (مانند BERT) و مدل‌های عصبی با معماری مشابه که از ابتدا (from scratch) و بدون هیچ پیش‌آموزشی، فقط روی داده‌های همان وظیفه آموزش دیده بودند. نتایج نشان داد که مدل‌های پیش‌آموزش‌دیده به طور قابل توجهی بهتر عمل کردند. این برتری حتی زمانی که مدل‌های غیر پیش‌آموزش‌دیده با پارامترهای کمتر برای کنترل اثرات تنظیم‌کنندگی (Regularization) آموزش دیدند نیز پابرجا بود.

بخش شگفت‌انگیزتر تحقیق، بررسی تأثیر نوع داده‌های پیش‌آموزش بود. نتایج نشان داد که این اثرات مثبت حتی زمانی که مدل‌ها روی متون چندزبانه، کدهای برنامه‌نویسی یا حتی زبان‌های مصنوعی پیش‌آموزش دیده بودند، همچنان وجود داشت. این یافته بیانگر یک ارتباط عمیق و پیش از این ناشناخته بین فرآیند پیش‌آموزش و توانایی‌های یادگیری استقرایی مدل‌های زبان است.

روش‌شناسی این تحقیق بر پایه یک مقایسه کنترل‌شده و دقیق بنا شده است. مراحل اصلی این پژوهش به شرح زیر است:

• انتخاب وظایف غیرزبانی: محققان ۱۹ وظیفه را با دقت انتخاب کردند تا اطمینان حاصل کنند که حل آن‌ها نیازی به دانش زبانی (مانند معنای کلمات) ندارد، بلکه به توانایی‌های استدلالی، تشخیص الگو و محاسبات پایه وابسته است. برخی از این وظایف عبارت بودند از:
  • محاسبات کمی: شمارش تعداد یک کاراکتر خاص در یک رشته.
  • استدلال روی رشته‌ها: بررسی اینکه آیا یک رشته پالیندروم (واروخوانه) است یا خیر، یا معکوس کردن یک رشته.
  • تشخیص عبارات منظم: تشخیص اینکه آیا یک رشته با یک الگوی مشخص (مانند a*b+c?) مطابقت دارد یا خیر.
• طراحی گروه کنترل: برای اینکه ثابت شود برتری مدل‌های پیش‌آموزش‌دیده ناشی از خود فرآیند پیش‌آموزش است، یک گروه کنترل طراحی شد. این گروه شامل مدل‌هایی با معماری یکسان (مثلاً Transformer) بود اما هیچ‌گونه پیش‌آموزشی روی داده‌های متنی ندیده بودند. این مدل‌ها مستقیماً روی داده‌های مربوط به هر یک از ۱۹ وظیفه آموزش داده شدند.
• مقایسه عملکرد: عملکرد مدل‌های پیش‌آموزش‌دیده (Pre-trained) با مدل‌های آموزش‌دیده از ابتدا (Trained from scratch) به دقت اندازه‌گیری و مقایسه شد. معیار اصلی، دقت مدل در حل صحیح وظایف بود.
• بررسی دامنه داده‌های پیش‌آموزش: در گامی فراتر، محققان تأثیر نوع داده‌های مورد استفاده در مرحله پیش‌آموزش را بررسی کردند. آن‌ها مدل‌هایی را با استفاده از منابع داده زیر پیش‌آموزش دادند:
  • متن انگلیسی: به عنوان معیار پایه.
  • متون چندزبانه: برای بررسی اینکه آیا ساختارهای مشترک بین زبان‌ها مهم هستند.
  • کدهای برنامه‌نویسی: که دارای ساختار منطقی و قواعد نحوی بسیار محکمی هستند.
  • زبان‌های مصنوعی: زبان‌هایی که توسط کامپیوتر و با قواعد ساده تولید شده‌اند تا هرگونه معنای انسانی از آن‌ها حذف شود.

نتایج این تحقیق بسیار روشنگر و تا حدی غیرمنتظره بود. یافته‌های اصلی را می‌توان در چند بخش خلاصه کرد:

• برتری قطعی پیش‌آموزش: در تمام ۱۹ وظیفه غیرزبانی، مدل‌های پیش‌آموزش‌دیده عملکردی بسیار بهتر از مدل‌هایی داشتند که از ابتدا آموزش دیده بودند. این نتیجه به وضوح نشان می‌دهد که فرآیند پیش‌آموزش روی متن، چیزی بیش از دانش زبانی به مدل‌ها می‌آموزد.
• یادگیری توانایی‌های استدلالی: این برتری حاکی از آن است که مدل‌ها در طول پیش‌آموزش، توانایی‌های پایه‌ای برای تشخیص الگو، شمارش، درک توالی و استدلال ساختاری را کسب کرده‌اند. به نظر می‌رسد مدل با تلاش برای پیش‌بینی کلمه بعدی در یک متن پیچیده، مجبور به یادگیری مفاهیم انتزاعی‌تری مانند سلسله‌مراتب، وابستگی‌های دوربرد و قواعد منطقی می‌شود.
• اهمیت ساختار بر معنا: شگفت‌انگیزترین یافته تحقیق این بود که حتی پیش‌آموزش روی داده‌هایی که زبان طبیعی انسان نیستند (مانند کد کامپیوتری یا زبان‌های مصنوعی) نیز به کسب این توانایی‌های استدلالی منجر می‌شود. این موضوع نشان می‌دهد که آنچه برای مدل اهمیت دارد، وجود یک «ساختار» منطقی و قاعده‌مند در داده‌هاست، نه لزوماً معنای انسانی آن. یادگیری از ساختار نحوی کد پایتون یا قواعد یک زبان مصنوعی، به همان اندازه برای توسعه این سوگیری‌های استقرایی مفید است.

یافته‌های این مقاله پیامدهای عمیقی برای آینده هوش مصنوعی و نحوه نگرش ما به مدل‌های زبان بزرگ دارد:

• تغییر نگرش به LLMها: این تحقیق ما را از دیدن LLMها به عنوان ابزارهای صرفاً زبانی، به سمت درک آن‌ها به عنوان موتورهای یادگیری الگو و ساختار سوق می‌دهد. این مدل‌ها می‌توانند به عنوان یک نقطه شروع قدرتمند برای حل طیف وسیعی از مسائل در حوزه‌های مختلف مورد استفاده قرار گیرند.
• کاربردهای جدید و بین‌رشته‌ای: اگر پیش‌آموزش روی داده‌های ساختاریافته به توانایی استدلال عمومی منجر می‌شود، می‌توان از این مدل‌ها در حوزه‌هایی فراتر از NLP استفاده کرد. برای مثال، یک مدل پیش‌آموزش‌دیده روی توالی‌های ژنتیکی (DNA) ممکن است درک بهتری از ساختارهای بیولوژیکی پیدا کند، یا مدلی که روی داده‌های مالی آموزش دیده، قادر به تشخیص الگوهای پیچیده بازار باشد.
• بهبود بهره‌وری در یادگیری ماشین: این یافته‌ها نشان می‌دهند که استفاده از یک مدل پیش‌آموزش‌دیده، حتی اگر دامنه داده‌های پیش‌آموزش با وظیفه نهایی کاملاً متفاوت باشد، می‌تواند به طور چشمگیری عملکرد را بهبود بخشد. این امر می‌تواند منجر به ساخت مدل‌های کارآمدتر با نیاز به داده‌های آموزشی کمتر برای وظایف خاص شود.

مقاله «مدل‌های زبان بزرگ ورای زبان چه می‌آموزند؟» یک گام مهم در جهت درک عمیق‌تر قابلیت‌های پنهان این سیستم‌های هوشمند است. این تحقیق با ارائه شواهد محکم نشان می‌دهد که فرآیند پیش‌آموزش، به مدل‌های زبان سوگیری‌های استقرایی قدرتمندی می‌بخشد که به آن‌ها اجازه می‌دهد در وظایف غیرزبانی و استدلالی نیز عملکرد درخشانی داشته باشند.

نتیجه کلیدی این است که این توانایی‌ها لزوماً از درک معنای زبان انسان ناشی نمی‌شوند، بلکه از یادگیری «ساختار» و «قواعد» موجود در هر نوع داده متوالی و پیچیده (چه متن، چه کد و چه زبان مصنوعی) سرچشمه می‌گیرند. این یافته، درک ما را از هوش مصنوعی یک قدم به جلو می‌برد و دریچه‌های جدیدی را برای تحقیق و کاربرد این فناوری‌های تحول‌آفرین باز می‌کند. به نظر می‌رسد مدل‌های زبان بزرگ، در حال یادگیری اصول اولیه‌ای از منطق و استدلال هستند که سنگ بنای هوش عمومی را تشکیل می‌دهد.