در دهه گذشته، پیشرفت‌های چشمگیری در حوزه پردازش زبان طبیعی (NLP) و مقیاس‌پذیری بی‌سابقه مدل‌های زبان بزرگ (LLMs) را شاهد بوده‌ایم. این توسعه‌ها با ظهور تکنیک‌های یادگیری چندشاتی (few-shot learning) مانند پرامپتینگ تفکر زنجیره‌ای (Chain of Thought – CoT) شتاب گرفتند. به طور خاص، CoT با افزودن مراحل میانی به پرامپت‌ها، عملکرد مدل‌های زبان بزرگ را در تنظیمات چندشاتی به طرز چشمگیری بهبود بخشیده است. این توانایی CoT در هدایت مدل‌ها برای حل مسائل پیچیده با شکستن آن‌ها به گام‌های منطقی، آن را به ابزاری قدرتمند تبدیل کرده است.

با وجود نتایج خیره‌کننده در وظایف مختلف، دلایل اساسی موفقیت CoT به خوبی کاوش نشده است. این مقاله با عنوان “متن و الگوها: برای تفکر زنجیره‌ای موثر، دو مؤلفه لازم است”، تلاشی روشمند برای پرده‌برداری از مکانیزم‌های نهفته در پشت پرامپتینگ چندشاتی مبتنی بر CoT در مدل‌های زبان بزرگ است. اهمیت این تحقیق در آن است که با ارائه بینش‌های عمیق‌تر در مورد نحوه عملکرد LLMs، نه تنها به درک بهتری از قابلیت‌های آن‌ها دست می‌یابیم، بلکه می‌توانیم راهکارهای کارآمدتری برای مهندسی پرامپت و طراحی مدل‌های آینده ارائه دهیم. این مقاله، فراتر از مشاهده نتایج، به دنبال فهم چرایی عملکرد CoT است و از این رو، دریچه‌ای نو به سوی توضیح‌پذیری هوش مصنوعی (Explainable AI – XAI) باز می‌کند.

این مقاله ارزشمند توسط آمن ماداآن (Aman Madaan) و امیر یزدان‌بخش (Amir Yazdanbakhsh) به رشته تحریر درآمده است. هر دو نویسنده از محققان فعال در حوزه‌های محاسبات و زبان (Computation and Language)، هوش مصنوعی (Artificial Intelligence) و یادگیری ماشین (Machine Learning) هستند. تخصص آن‌ها در این زمینه‌ها، آن‌ها را قادر ساخته تا به یکی از چالش‌برانگیزترین مسائل در حوزه مدل‌های زبان بزرگ، یعنی درک مکانیزم‌های داخلی تفکر زنجیره‌ای (CoT)، بپردازند.

زمینه‌ی تحقیق آن‌ها بر فهم و بهبود کارایی مدل‌های زبان بزرگ متمرکز است که به طور فزاینده‌ای در وظایف پیچیده نیازمند استدلال و حل مسئله کاربرد پیدا کرده‌اند. با توجه به اینکه CoT یکی از مهم‌ترین دستاوردها در این زمینه محسوب می‌شود، تحلیل عمیق آن برای پیشبرد این حوزه حیاتی است. کار آن‌ها در راستای تلاش‌های گسترده‌تر جامعه علمی برای گشودن “جعبه سیاه” LLMs و دستیابی به سیستم‌های هوش مصنوعی شفاف‌تر، قابل اعتمادتر و کارآمدتر قرار می‌گیرد.

در دهه‌ی اخیر، پردازش زبان طبیعی (NLP) شاهد پیشرفت‌های چشمگیر و مقیاس‌پذیری بی‌سابقه‌ی مدل‌های زبان بزرگ (LLMs) بوده است. این پیشرفت‌ها با ظهور تکنیک‌های چندشاتی مانند پرامپتینگ تفکر زنجیره‌ای (CoT) شتاب گرفتند. CoT با افزودن مراحل میانی به پرامپت‌ها، عملکرد LLMs را در تنظیمات چندشاتی به طور قابل توجهی افزایش می‌دهد. با این حال، علی‌رغم نتایج چشمگیر در وظایف مختلف، دلایل پشت این موفقیت به خوبی کاوش نشده‌اند.

این مقاله با استفاده از روش پرامپتینگ ضدواقعی (counterfactual prompting)، به دنبال درک عمیق‌تر از مکانیزم‌های پرامپتینگ چندشاتی مبتنی بر CoT در مدل‌های زبان بزرگ است. نویسندگان ابتدا به طور سیستماتیک اجزای کلیدی یک پرامپت را شناسایی و تعریف می‌کنند: نمادها (symbols)، الگوها (patterns) و متن (text). سپس، مجموعه‌ای جامع از آزمایشات را در چهار وظیفه مختلف طراحی و اجرا می‌کنند. در این آزمایشات، مدل با پرامپت‌های ضدواقعی که در آن‌ها تنها یکی از این مؤلفه‌ها تغییر یافته بود، مورد پرسش قرار می‌گیرد.

آزمایش‌های انجام شده بر روی سه مدل (PaLM، GPT-3 و CODEX) نتایج شگفت‌انگیزی را آشکار ساخته و فرضیات رایج درباره پرامپتینگ چندشاتی را زیر سوال می‌برد. یافته‌های کلیدی عبارتند از:

• حضور الگوهای واقعی در یک پرامپت عملاً برای موفقیت CoT بی‌اهمیت است. به عبارت دیگر، صحت اطلاعات در گام‌های میانی مثال‌ها لزوماً مهم نیست.
• نقش اصلی گام‌های میانی ممکن است تسهیل یادگیری چگونگی حل یک وظیفه نباشد. بلکه این گام‌ها بیشتر به عنوان یک راهنما (beacon) عمل می‌کنند تا مدل متوجه شود چه نمادهایی را در خروجی تکرار کند تا یک پاسخ واقعی شکل گیرد.
• متن، الگوها را با دانش عمومی (commonsense knowledge) و معنا آغشته می‌کند.

تحلیل تجربی و کیفی نویسندگان نشان می‌دهد که یک رابطه همزیستی (symbiotic relationship) بین متن و الگوها، موفقیت پرامپتینگ چندشاتی را توضیح می‌دهد: متن به استخراج دانش عمومی از سوال برای کمک به الگوها کمک می‌کند و الگوها درک وظیفه را تقویت کرده و تولید متن را هدایت می‌کنند.

برای درک عمیق مکانیزم‌های تفکر زنجیره‌ای (CoT)، نویسندگان این مقاله از یک روش‌شناسی دقیق و نوآورانه بهره گرفته‌اند که بر پرامپتینگ ضدواقعی (counterfactual prompting) متمرکز است. این روش به آن‌ها اجازه می‌دهد تا تأثیر هر مؤلفه پرامپت را به صورت مجزا بررسی کنند.

مراحل اصلی روش‌شناسی عبارتند از:

• شناسایی و تعریف اجزای پرامپت:
  نویسندگان ابتدا به طور سیستماتیک یک پرامپت را به سه مؤلفه اصلی تقسیم می‌کنند:

  • نمادها (Symbols): این‌ها عناصر بنیادین و اتمیک یک پرامپت هستند، مانند کلمات، اعداد، علائم نگارشی و ساختارهای نحوی اولیه. نمادها به خودی خود معنای عمیقی ندارند، اما بلوک‌های سازنده هر متن و الگویی به شمار می‌آیند.
  • الگوها (Patterns): الگوها به ساختار و ترتیب قرارگیری نمادها و متون در یک پرامپت اشاره دارند. این شامل توالی گام‌های میانی در CoT، فرمت‌بندی خاص خروجی، و چگونگی سازماندهی اطلاعات است. الگوها به مدل نشان می‌دهند که چگونه پاسخ را ساختاردهی کند، صرف‌نظر از محتوای دقیق آن.
  • متن (Text): این مؤلفه به محتوای معنایی و دانش عمومی (commonsense knowledge) موجود در کلمات و جملات اشاره دارد. متن، اطلاعات و مفهوم لازم برای درک سوال و هدایت استدلال مدل را فراهم می‌کند. این همان چیزی است که به الگوها معنا می‌بخشد و مدل را در جهت پاسخ‌دهی به یک سوال خاص یاری می‌کند.

• طراحی آزمایشات ضدواقعی:
  پس از تعریف این اجزا، نویسندگان مجموعه‌ای از آزمایشات را طراحی می‌کنند که در آن‌ها، پرامپت‌های ضدواقعی به مدل ارائه می‌شود. در هر آزمایش، تنها یکی از این سه مؤلفه (نمادها، الگوها یا متن) در پرامپت اصلی دستکاری یا تغییر داده می‌شود، در حالی که سایر مؤلفه‌ها ثابت می‌مانند. این رویکرد کنترل‌شده، امکان ارزیابی دقیق تأثیر هر جزء را فراهم می‌کند. به عنوان مثال، ممکن است یک پرامپت CoT با گام‌های میانی که از نظر منطقی نادرست هستند (اما ساختار درستی دارند) به مدل داده شود تا نقش “واقعیت‌گرایی الگو” بررسی شود.

• اجرا بر روی مدل‌های مختلف:
  برای اطمینان از کلیت یافته‌ها و عدم وابستگی آن‌ها به یک معماری خاص، آزمایشات بر روی سه مدل زبان بزرگ برجسته و متفاوت اجرا شده‌اند:

  • PaLM: یکی از مدل‌های قدرتمند گوگل که به دلیل قابلیت‌های استدلال قوی خود شناخته شده است.
  • GPT-3: مدل پیشگام OpenAI که تأثیر عظیمی بر حوزه NLP داشته است.
  • CODEX: مدل مبتنی بر GPT-3 که برای تولید کد بهینه‌سازی شده و قابلیت‌های استدلالی در زمینه‌های برنامه‌نویسی را به نمایش می‌گذارد.

  اجرای آزمایش‌ها در چهار وظیفه متفاوت، تنوع نتایج را افزایش داده و به پایداری کشفیات کمک می‌کند. این رویکرد جامع، اعتبار یافته‌ها را به میزان قابل توجهی بالا می‌برد و بینش‌های معتبری را در مورد مکانیسم‌های درونی CoT ارائه می‌دهد.

نتایج حاصل از آزمایش‌های جامع این مقاله، فرضیات رایج در مورد تفکر زنجیره‌ای (CoT) و پرامپتینگ چندشاتی را به چالش می‌کشد و بینش‌های تازه‌ای ارائه می‌دهد:

• ۱. بی‌اهمیت بودن الگوهای واقعی در پرامپت:
  شاید شگفت‌انگیزترین یافته این باشد که حضور الگوهای واقعی (factual patterns) در یک پرامپت عملاً برای موفقیت CoT بی‌اهمیت است. این بدان معناست که صحت منطقی یا واقعیت‌گرایی گام‌های میانی در مثال‌های ارائه شده به مدل، تأثیر چندانی بر توانایی مدل در تولید یک پاسخ صحیح با استفاده از CoT ندارد. مدل‌های زبان بزرگ عمدتاً به ساختار و فرمت این الگوها واکنش نشان می‌دهند، نه به محتوای واقعی آن‌ها. برای مثال، اگر در یک پرامپت برای حل یک مسئله ریاضی، گام‌های میانی اشتباهی ارائه شود، اما این گام‌ها ساختاری منطقی و دنباله‌دار داشته باشند، مدل همچنان قادر است یک پاسخ صحیح نهایی را با استفاده از “ساختار تفکر زنجیره‌ای” تولید کند. این نشان می‌دهد که CoT بیشتر به مدل می‌آموزد “چگونه فکر کند” (یعنی ساختاردهی استدلال) تا “چه چیزی را فکر کند” (یعنی محتوای واقعی استدلال).

• ۲. نقش راهنما و نه آموزشی گام‌های میانی:
  نتایج مقاله نشان می‌دهد که نقش اصلی گام‌های میانی ممکن است تسهیل یادگیری چگونگی حل یک وظیفه نباشد. به جای اینکه گام‌های میانی به مدل بیاموزند که چگونه یک مسئله را گام به گام حل کند، آن‌ها بیشتر به عنوان یک راهنما (beacon) عمل می‌کنند. این راهنما به مدل کمک می‌کند تا متوجه شود که چه نمادهایی را در خروجی خود تکرار کند تا یک پاسخ واقعی و ساختارمند (با مراحل میانی) را شکل دهد. این بدان معناست که مدل با دیدن گام‌های میانی، بیشتر به دنبال تقلید از فرمت و ساختار آن گام‌هاست تا درک عمیق از منطق پشت آن‌ها. به عبارت دیگر، گام‌های میانی یک “نقشه راه” برای تولید ساختار پاسخ هستند، نه یک “درس” برای حل مسئله.

• ۳. تزریق دانش عمومی توسط متن:
  متن، الگوها را با دانش عمومی و معنا آغشته می‌کند. در حالی که الگوها ساختار را فراهم می‌کنند، این متن است که معنای واقعی، زمینه و دانش عمومی لازم برای درک سوال و هدایت استدلال را به مدل می‌دهد. بدون متن، الگوها تنها ساختارهای خالی از معنا هستند. به عنوان مثال، الگوی “الف + ب = ج” تنها زمانی معنا پیدا می‌کند که “الف” و “ب” اعداد مشخصی باشند و “به علاوه” به معنای عمل جمع باشد که این معنا توسط “متن” منتقل می‌شود.

• ۴. رابطه همزیستی بین متن و الگوها:
  تحلیل‌های تجربی و کیفی نویسندگان به این نتیجه کلیدی می‌رسد که موفقیت پرامپتینگ چندشاتی با تفکر زنجیره‌ای، در واقع به دلیل یک رابطه همزیستی بین متن و الگوها است. این دو مؤلفه به شیوه‌ای مکمل یکدیگر عمل می‌کنند:

  • متن به الگوها کمک می‌کند: متن با استخراج دانش عمومی از سوال، به الگوها کمک می‌کند تا کاربردی و معنا‌دار شوند. این کمک شامل فهم مقصود سوال و ارتباط آن با دانش ذخیره شده در مدل است.
  • الگوها تولید متن را هدایت می‌کنند: از سوی دیگر، الگوها درک وظیفه را تقویت کرده و تولید متن را هدایت می‌کنند. آن‌ها اطمینان می‌دهند که خروجی مدل نه تنها از نظر معنایی صحیح باشد، بلکه از نظر ساختاری نیز به گونه‌ای سازمان‌یافته باشد که حل مسئله را تسهیل کند.

  این همزیستی، به مدل‌های زبان بزرگ اجازه می‌دهد تا با استفاده از ساختارهای منطقی (الگوها) و دانش معنایی (متن)، به طور مؤثرتری به مسائل پیچیده پاسخ دهند و استدلال‌های گام به گام ارائه دهند.

یافته‌های این تحقیق پیامدهای عمیقی برای درک، طراحی و استفاده از مدل‌های زبان بزرگ (LLMs) دارد. درک رابطه همزیستی بین متن و الگوها در تفکر زنجیره‌ای (CoT)، راه را برای کاربردها و دستاوردهای مهمی هموار می‌سازد:

• ۱. بهبود مهندسی پرامپت (Prompt Engineering) و طراحی پرامپت‌های کارآمدتر:
  دانش جدید در مورد نقش واقعی متن و الگوها به مهندسان پرامپت کمک می‌کند تا پرامپت‌های بسیار کارآمدتری طراحی کنند. به جای تمرکز صرف بر صحت اطلاعات در مثال‌های CoT، می‌توان بر دو جنبه کلیدی تمرکز کرد: ایجاد الگوهای ساختاری واضح و مناسب برای گام‌های میانی و اطمینان از اینکه متن ارائه شده، حاوی دانش عمومی و زمینه کافی برای هدایت مدل است. این امر می‌تواند منجر به پرامپت‌های کوتاه‌تر، شفاف‌تر و در عین حال قدرتمندتر شود که نیاز به مثال‌های طولانی و پیچیده با استدلال‌های کاملاً صحیح را کاهش می‌دهد.

• ۲. رهنمودهایی برای طراحی و آموزش مدل‌های زبان آینده:
  این تحقیق بینش‌های مهمی را برای توسعه‌دهندگان LLMs ارائه می‌دهد. با درک اینکه مدل‌ها چگونه متن و الگوها را پردازش می‌کنند، می‌توان معماری‌های جدیدی طراحی کرد که به طور صریح‌تر این دو مؤلفه را مدیریت کنند. به عنوان مثال، ممکن است بخش‌هایی از مدل برای پردازش دانش عمومی و بخش‌هایی دیگر برای مدیریت ساختارهای استدلالی بهینه‌سازی شوند. این می‌تواند به تولید مدل‌هایی منجر شود که در استدلال‌های گام به گام نه تنها دقیق‌تر، بلکه کارآمدتر نیز عمل کنند.

• ۳. افزایش توضیح‌پذیری و شفافیت هوش مصنوعی (Explainable AI – XAI):
  با پرده‌برداری از مکانیزم‌های درونی CoT، این مقاله به کاهش ماهیت “جعبه سیاه” LLMs کمک می‌کند. فهم اینکه مدل‌ها چگونه از الگوها برای ساختاردهی پاسخ‌ها و از متن برای استخراج معنا استفاده می‌کنند، گامی مهم به سوی ایجاد سیستم‌های هوش مصنوعی شفاف‌تر و قابل اعتمادتر است. این توضیح‌پذیری، در سناریوهای حیاتی مانند تصمیم‌گیری‌های پزشکی یا حقوقی که درک نحوه رسیدن به یک نتیجه بسیار مهم است، ارزش فزاینده‌ای دارد.

• ۴. بهینه‌سازی استفاده از منابع محاسباتی:
  از آنجایی که مشخص شد واقعی بودن الگوها چندان حیاتی نیست، می‌توان پرامپت‌ها را با مثال‌هایی ساده‌تر یا حتی انتزاعی‌تر طراحی کرد. این امر می‌تواند به کاهش زمان و منابع محاسباتی مورد نیاز برای تولید پرامپت‌های پیچیده و دقیق کمک کند، در حالی که عملکرد مدل حفظ می‌شود. همچنین، می‌تواند منجر به کاهش حجم داده‌های آموزشی مورد نیاز برای یادگیری الگوهای پیچیده شود.

• ۵. درک بهتر محدودیت‌های CoT:
  این تحقیق نه تنها نقاط قوت CoT را آشکار می‌کند، بلکه به درک بهتر محدودیت‌های آن نیز کمک می‌کند. اگر CoT بیشتر یک مکانیزم “راهنما برای ساختاردهی” باشد تا یک “آموزگار استدلالی”، آنگاه درک می‌کنیم که در چه موقعیت‌هایی ممکن است به دلیل فقدان دانش عمومی کافی در متن یا الگوهای ناکارآمد، با خطا مواجه شود. این بینش به محققان کمک می‌کند تا زمینه‌هایی را برای بهبود بیشتر این تکنیک شناسایی کنند.

به طور خلاصه، این مقاله نه تنها یک پرده از رازهای عملکرد تفکر زنجیره‌ای برمی‌دارد، بلکه نقشه راهی برای نوآوری‌های آینده در هوش مصنوعی، مهندسی پرامپت و طراحی مدل‌های زبان بزرگ ارائه می‌دهد.

تحقیق “متن و الگوها: برای تفکر زنجیره‌ای موثر، دو مؤلفه لازم است” یک گام مهم در جهت گشودن رازهای تفکر زنجیره‌ای (CoT) و عملکرد مدل‌های زبان بزرگ (LLMs) محسوب می‌شود. این مقاله با استفاده از روش مبتکرانه پرامپتینگ ضدواقعی، نشان داده است که موفقیت خیره‌کننده CoT ناشی از یک تعامل پیچیده و همزیستی بین متن (حامل دانش عمومی و معنا) و الگوها (فراهم‌کننده ساختار و راهنمایی استدلال) است.

یافته‌های کلیدی این مقاله، فرضیات رایج را به چالش می‌کشد؛ به ویژه این درک که الگوهای واقعی در گام‌های میانی پرامپت ضروری نیستند و گام‌های میانی بیشتر به عنوان یک “راهنما” برای تولید خروجی ساختارمند عمل می‌کنند تا یک “آموزگار” برای حل مسئله. در واقع، متن به الگوها معنا می‌بخشد و الگوها تولید متن را در چارچوب یک استدلال منطقی هدایت می‌کنند. این رویکرد، درک ما را از نحوه پردازش و تولید اطلاعات توسط LLMs عمیق‌تر می‌کند و از یک نگاه سطحی به عملکرد مدل‌ها فراتر می‌رود.

پیامدهای این تحقیق گسترده است. این مقاله نه تنها به ما کمک می‌کند تا مهندسی پرامپت را بهینه‌سازی کنیم و پرامپت‌های کارآمدتر و مؤثرتری بسازیم، بلکه راهنمایی‌های ارزشمندی را برای طراحی مدل‌های زبان بزرگ آینده فراهم می‌آورد. با درک بهتر نحوه تعامل متن و الگوها، می‌توانیم معماری‌های هوش مصنوعی را توسعه دهیم که قادر به بهره‌برداری کامل از این رابطه همزیستی باشند، و در نتیجه، سیستم‌هایی را خلق کنیم که هم قدرتمندتر و هم قابل توضیح‌تر باشند.

در نهایت، این مقاله بر اهمیت کاوش در مکانیزم‌های بنیادین هوش مصنوعی تأکید می‌کند. در عصری که مدل‌های زبان بزرگ به ابزاری فراگیر تبدیل شده‌اند، درک عمیق از نحوه عملکرد آن‌ها برای توسعه مسئولانه و حداکثر بهره‌برداری از پتانسیل‌شان حیاتی است. این تحقیق نه تنها دانش ما را گسترش می‌دهد، بلکه الهام‌بخش تحقیقات آتی در جهت خلق هوش مصنوعی هوشمندتر و شفاف‌تر خواهد بود.