در عصری که هوش مصنوعی با سرعتی شگرف در حال دگرگون کردن جهان است، توانایی ماشین‌ها برای درک، تحلیل و تولید استدلال‌های انسانی به یکی از مرزهای دانش تبدیل شده است. مقاله علمی «Exploring the Potential of Large Language Models in Computational Argumentation» به قلم گویژن چن و همکارانش، کاوشی عمیق در این حوزه نوظهور است. این پژوهش به ارزیابی جامع توانایی مدل‌های زبان بزرگ (LLMs) در حوزه استدلال محاسباتی می‌پردازد؛ شاخه‌ای از هوش مصنوعی که به ماشین‌ها می‌آموزد چگونه منطق و ساختار بحث‌های انسانی را بفهمند و در آن مشارکت کنند. اهمیت این مقاله در آن است که برای نخستین بار، یک معیار استاندارد و گسترده برای سنجش عملکرد مدل‌های پیشرفته‌ای مانند ChatGPT در وظایف پیچیده استدلالی ارائه می‌دهد و راه را برای توسعه نسل بعدی سیستم‌های هوشمند منطقی هموار می‌سازد.

پژوهشگران در این مقاله، توانایی مدل‌های زبان بزرگ مدرن مانند ChatGPT، مدل‌های خانواده Flan (متعلق به گوگل) و LLaMA2 (متعلق به متا) را در حوزه استدلال محاسباتی به صورت گسترده ارزیابی می‌کنند. وظایف اصلی در این حوزه به دو دسته کلی تقسیم می‌شوند:

• استخراج استدلال (Argument Mining): این وظیفه شامل شناسایی و استخراج مؤلفه‌های یک استدلال از متن است. برای مثال، تشخیص اینکه کدام جمله «ادعا» (Claim) و کدام جملات «مقدمه» یا «شواهد» (Premise) هستند.
• تولید استدلال (Argument Generation): این وظیفه به ساختن استدلال‌های جدید، منسجم و متقاعدکننده در پاسخ به یک موضوع یا یک استدلال دیگر می‌پردازد.

محققان برای این ارزیابی، وظایف موجود را در شش دسته اصلی سازمان‌دهی کرده و فرمت چهارده مجموعه‌داده عمومی را استانداردسازی نموده‌اند. علاوه بر این، یک مجموعه‌داده معیار (Benchmark) کاملاً جدید برای وظیفه تولید گفتار متقابل (Counter Speech Generation) معرفی می‌کنند. این وظیفه جدید به صورت یکپارچه، هم توانایی درک استدلال (استخراج) و هم توانایی تولید پاسخ منطقی (تولید) را در مدل‌ها به چالش می‌کشد. نتایج آزمایش‌های گسترده نشان می‌دهد که مدل‌های زبان بزرگ در اکثر وظایف، عملکردی تحسین‌برانگیز و قابل‌توجه از خود به نمایش می‌گذارند و پتانسیل بالای خود را در این حوزه به اثبات می‌رسانند.

مدل‌های مورد ارزیابی:

پژوهشگران طیف وسیعی از مدل‌های پیشرفته را انتخاب کردند تا تصویری جامع از وضعیت فعلی این فناوری ارائه دهند. این مدل‌ها شامل مدل‌های اختصاصی و قدرتمند مانند ChatGPT و همچنین مدل‌های منبع‌باز و محبوب مانند LLaMA2 در اندازه‌های مختلف و مدل‌های Flan که برای پیروی از دستورالعمل‌ها بهینه‌سازی شده‌اند، بودند.

سناریوهای ارزیابی:

عملکرد مدل‌ها در دو سناریوی اصلی سنجیده شد:

• یادگیری بدون نمونه (Zero-shot): در این حالت، مدل تنها با دریافت شرح وظیفه و بدون دیدن هیچ‌گونه مثالی، باید آن را انجام دهد. این سناریو، توانایی ذاتی و دانش از پیش‌آموخته‌شده مدل را محک می‌زند. برای مثال، به مدل گفته می‌شود: «در متن زیر، ادعای اصلی را مشخص کن.»
• یادگیری با چند نمونه (Few-shot): در این سناریو، علاوه بر شرح وظیفه، چند مثال از ورودی و خروجی صحیح نیز به مدل داده می‌شود تا با الگو آشنا شود. این روش، قابلیت یادگیری در حین اجرا (In-context Learning) مدل را ارزیابی می‌کند و معمولاً به نتایج بهتری منجر می‌شود.

مجموعه‌داده‌ها و معیار جدید:

یکی از بزرگ‌ترین دستاوردهای این مقاله، استانداردسازی چهارده مجموعه‌داده موجود در حوزه استدلال محاسباتی است. این کار به پژوهشگران آینده امکان می‌دهد تا نتایج خود را به طور مستقیم با این مطالعه مقایسه کنند. مهم‌تر از آن، معرفی مجموعه‌داده جدید برای «تولید گفتار متقابل» است. در این وظیفه، به مدل یک استدلال داده می‌شود و از آن خواسته می‌شود یک ضد-استدلال منطقی و مرتبط تولید کند. این کار بسیار چالش‌برانگیز است زیرا نیازمند درک عمیق استدلال اولیه و سپس تولید یک پاسخ خلاقانه و در عین حال منطقی است.

یافته‌های این پژوهش، درهای جدیدی را به روی کاربردهای عملی هوش مصنوعی در دنیای واقعی باز می‌کند:

• حوزه حقوقی: دستیارهای هوشمند برای وکلا که می‌توانند استدلال‌های طرف مقابل را در یک پرونده تحلیل کرده و نقاط ضعف آن را برای ارائه ضد-استدلال شناسایی کنند.
• آموزش و پرورش: ابزارهایی برای آموزش تفکر انتقادی به دانش‌آموزان که می‌توانند به صورت تعاملی، استدلال‌های آن‌ها را در یک مقاله ارزیابی کرده و بازخورد سازنده ارائه دهند.
• سیاست‌گذاری و رسانه: سیستم‌هایی که می‌توانند حجم عظیمی از نظرات عمومی یا مقالات خبری را تحلیل کرده، استدلال‌های اصلی را دسته‌بندی نموده و شیوع اطلاعات نادرست مبتنی بر استدلال‌های سست را شناسایی کنند.
• دستیارهای شخصی هوشمند: نسل بعدی دستیارهای هوشمند که نه تنها به سوالات پاسخ می‌دهند، بلکه می‌توانند در تصمیم‌گیری‌های پیچیده با взвешивание مزایا و معایب و ارائه استدلال‌های منطقی به کاربر کمک کنند.

دستاورد اصلی این مقاله، ارائه یک نقشه راه علمی برای آینده پژوهش در این حوزه است. با ایجاد یک بستر استاندارد برای ارزیابی، محققان می‌توانند با اطمینان بیشتری مدل‌های جدید را توسعه داده و پیشرفت‌ها را به طور دقیق اندازه‌گیری کنند.