مدل‌های زبانی بزرگ (Large Language Models – LLMs) مانند سری GPT، کلود و جمینای، به دلیل توانایی‌های شگفت‌انگیز خود در پردازش و تولید زبان طبیعی، توجه گسترده‌ای را به خود جلب کرده‌اند. با این حال، این مدل‌ها در حالت پایه، مانند یک «مغز در خمره» عمل می‌کنند؛ آن‌ها به اطلاعات دنیای واقعی، رویدادهای زنده یا قابلیت انجام اقدامات عملی دسترسی مستقیم ندارند. برای غلبه بر این محدودیت، جامعه پژوهشی به سمت توانمندسازی این مدل‌ها با «ابزارها» (Tools) حرکت کرده است. این ابزارها می‌توانند یک موتور جستجو برای دریافت اطلاعات به‌روز، یک ماشین‌حساب برای انجام محاسبات دقیق، یا یک API برای رزرو هتل باشند.

تا به امروز، بیشتر تحقیقات بر این متمرکز بوده‌اند که یک مدل زبانی چگونه می‌تواند از یک ابزارِ از پیش تعیین‌شده به درستی استفاده کند. اما در سناریوهای واقعی، یک عامل هوشمند (Intelligent Agent) واقعی با چالش پیچیده‌تری روبروست: ابتدا باید تشخیص دهد که آیا برای پاسخ به درخواست کاربر اصلاً به ابزاری نیاز است یا خیر، و سپس، از میان مجموعه‌ای از ابزارهای موجود، مناسب‌ترین گزینه (یا گزینه‌ها) را انتخاب کند. این فرآیند تصمیم‌گیری، یک گام حیاتی به سوی ساختن سیستم‌های هوش مصنوعی خودمختار و کارآمد است.

مقاله «MetaTool Benchmark» دقیقاً به همین نقطه ضعف می‌پردازد. این مقاله یک چارچوب ارزیابی جامع به نام MetaTool را معرفی می‌کند که برای سنجش دو قابلیت کلیدی در مدل‌های زبانی طراحی شده است: آگاهی از لزوم استفاده از ابزار و توانایی انتخاب صحیح ابزار. اهمیت این پژوهش در آن است که برای اولین بار، یک استاندارد مشخص برای ارزیابی این سطح از استدلال در مدل‌های زبانی ارائه می‌دهد و شکاف میان توانایی‌های زبانی فعلی آن‌ها و قابلیت‌های لازم برای تبدیل شدن به یک عامل هوشمند واقعی را برجسته می‌سازد.

این مقاله حاصل همکاری گروهی از پژوهشگران برجسته شامل Yue Huang, Jiawen Shi, Yuan Li, Chenrui Fan, Siyuan Wu, Qihui Zhang, Yixin Liu, Pan Zhou, Yao Wan, Neil Zhenqiang Gong و Lichao Sun است. این پژوهش در حوزه تلاقی مهندسی نرم‌افزار (Software Engineering) و محاسبات و زبان (Computation and Language) قرار می‌گیرد. این رویکرد بین‌رشته‌ای کاملاً مناسب مسئله است، زیرا توانمندسازی مدل‌های زبانی با ابزارها، نیازمند درک عمیق زبان از یک سو و دانش مهندسی برای ادغام و اجرای نرم‌افزار از سوی دیگر است.

نویسندگان در این مقاله استدلال می‌کنند که برای آنکه مدل‌های زبانی بتوانند به عنوان عوامل هوشمند پیچیده (مانند آنچه در پروژه‌هایی نظیر AutoGPT و MetaGPT دیده می‌شود) عمل کنند، باید بتوانند در فرآیندهای تصمیم‌گیری چندوجهی شرکت کنند. این فرآیند شامل دو پرسش اساسی است: «آیا باید از ابزار استفاده کنم؟» و «از کدام ابزار(ها) باید استفاده کنم؟».

برای ارزیابی این قابلیت‌ها، آن‌ها بنچمارک MetaTool را معرفی می‌کنند. قلب این بنچمارک، یک مجموعه داده جدید به نام ToolE است که شامل انواع گوناگونی از درخواست‌های کاربران در قالب پرامپت می‌شود. این درخواست‌ها به گونه‌ای طراحی شده‌اند که سناریوهای مختلفی را پوشش دهند: برخی نیازمند یک ابزار واحد، برخی نیازمند ترکیب چند ابزار، و برخی دیگر اساساً نیازی به ابزار ندارند و باید توسط خود مدل زبانی پاسخ داده شوند.

بر این اساس، دو وظیفه اصلی تعریف شده است:

• آگاهی از به‌کارگیری ابزار (Tool Usage Awareness): تشخیص اینکه آیا درخواست کاربر برای پاسخگویی به ابزار خارجی نیاز دارد یا خیر.
• انتخاب ابزار (Tool Selection): انتخاب دقیق‌ترین و مناسب‌ترین ابزار از میان یک مجموعه ابزار موجود.

وظیفه انتخاب ابزار خود به چهار زیرمجموعه تقسیم می‌شود تا جنبه‌های مختلف این چالش ارزیابی شود: انتخاب از میان گزینه‌های مشابه، انتخاب در سناریوهای خاص، انتخاب با در نظر گرفتن قابلیت اطمینان، و انتخاب چند ابزاری برای وظایف پیچیده. نتایج آزمایش روی هشت مدل زبانی محبوب نشان می‌دهد که اکثر آن‌ها هنوز در این زمینه با چالش‌های جدی مواجه هستند.

روش‌شناسی این تحقیق بر پایه طراحی دقیق بنچمارک MetaTool و مجموعه داده ToolE استوار است تا بتواند توانایی‌های استدلالی مدل‌ها را به چالش بکشد.

ساخت مجموعه داده ToolE

این مجموعه داده به طور خاص برای شبیه‌سازی سناریوهای واقعی تعامل کاربر با یک عامل هوشمند ساخته شده است. پرامپت‌های موجود در ToolE شامل طیف وسیعی از درخواست‌ها هستند:

• سناریوهای تک-ابزاره (Single-tool): مانند «وضعیت آب‌وهوای پاریس فردا چگونه است؟» که تنها به یک ابزار پیش‌بینی آب‌وهوا نیاز دارد.
• سناریوهای چند-ابزاره (Multi-tool): مانند «خلاصه آخرین مقاله در مورد یادگیری تقویتی را پیدا کن و آن را به فارسی ترجمه کن.» که نیازمند دو ابزار است: یکی برای جستجوی مقالات علمی و دیگری برای ترجمه.
• سناریوهای بدون ابزار (No-tool): مانند «یک داستان کوتاه در مورد دوستی یک ربات و یک انسان بنویس.» که مدل زبانی باید مستقیماً و بدون کمک ابزار به آن پاسخ دهد.

تعریف وظایف ارزیابی

این مقاله دو وظیفه اصلی را برای ارزیابی مدل‌ها تعریف می‌کند:

۱. آگاهی از به‌کارگیری ابزار: این یک وظیفه طبقه‌بندی دوتایی است. مدل باید با تحلیل درخواست کاربر تصمیم بگیرد که آیا پاسخ در دانش داخلی او وجود دارد یا برای پاسخگویی به یک ابزار خارجی نیاز است.

۲. انتخاب ابزار: این وظیفه بسیار پیچیده‌تر است و خود به چهار زیرشاخه تقسیم می‌شود:

• انتخاب با گزینه‌های مشابه (Tool selection with similar choices): در این سناریو، به مدل ابزارهایی با توضیحات بسیار شبیه به هم ارائه می‌شود. برای مثال، ابزارهای `search_general_web()` و `search_scientific_articles()`. مدل باید بر اساس جزئیات درخواست کاربر (مثلاً «آخرین دستاوردهای فیزیک کوانتوم») ابزار دقیق‌تر را انتخاب کند.
• انتخاب در سناریوهای خاص (Tool selection in specific scenarios): برخی ابزارها تنها تحت شرایط خاصی قابل استفاده هستند. برای مثال، ابزار `add_song_to_playlist()` تنها زمانی کار می‌کند که کاربر یک لیست پخش فعال داشته باشد. مدل باید این پیش‌شرط‌ها را درک کند.
• انتخاب با مسائل قابلیت اطمینان (Tool selection with possible reliability issues): ممکن است دو ابزار کار یکسانی انجام دهند، اما یکی از آن‌ها به عنوان «پایدار» و دیگری «آزمایشی (beta)» برچسب خورده باشد. مدل باید بتواند گزینه قابل اعتمادتر را ترجیح دهد.
• انتخاب چند ابزاری (Multi-tool selection): برای درخواست‌های پیچیده، مدل باید بتواند وظیفه را به مراحل کوچک‌تر تقسیم کرده و برای هر مرحله، ابزار مناسب را فراخوانی کند. این نیازمند توانایی برنامه‌ریزی (Planning) است.

نتایج آزمایش‌های انجام‌شده بر روی هشت مدل زبانی بزرگ و محبوب، بسیار روشنگر است. یافته اصلی و تکان‌دهنده این است که: اکثر مدل‌های زبانی بزرگ، علی‌رغم توانایی‌های زبانی چشمگیرشان، هنوز در انتخاب مؤثر و دقیق ابزارها با چالش‌های جدی روبرو هستند. این یافته نشان می‌دهد که یک شکاف عمیق میان «دانش زبانی» و «استدلال عملی» در این مدل‌ها وجود دارد.

تحلیل خطاهای (Error Analysis) انجام‌شده توسط پژوهشگران نشان داد که این ضعف‌ها از چند منبع اصلی سرچشمه می‌گیرند:

• سوءتعبیر از هدف کاربر: مدل‌ها گاهی نیت اصلی پشت یک درخواست را به درستی درک نمی‌کنند.
• سردرگمی ناشی از توضیحات مشابه: وقتی توضیحات دو ابزار شباهت زیادی به هم دارند، مدل‌ها در تمایز قائل شدن بین آن‌ها دچار مشکل می‌شوند.
• ناتوانی در تجزیه مسائل پیچیده: در سناریوهای چند-ابزاری، بسیاری از مدل‌ها قادر به شکستن مسئله به مراحل کوچک‌تر و تخصیص ابزار به هر مرحله نیستند.

با این حال، این تحلیل خطا یک جنبه مثبت نیز دارد. نویسندگان دریافتند که این خطاها سیستماتیک هستند و این بدان معناست که فضای قابل توجهی برای بهبود وجود دارد. با طراحی داده‌های آموزشی بهتر، تنظیم دقیق مدل‌ها و توسعه معماری‌های جدید که بر استدلال تمرکز دارند، می‌توان این ضعف‌ها را برطرف کرد.

این پژوهش چندین دستاورد مهم و کاربردی برای جامعه هوش مصنوعی به ارمغان می‌آورد:

• یک بنچمارک استاندارد: MetaTool به عنوان یک ابزار استاندارد و معتبر، به پژوهشگران اجازه می‌دهد تا مدل‌های خود را در زمینه انتخاب ابزار به شیوه‌ای یکپارچه ارزیابی و مقایسه کنند. این امر به پیشرفت منسجم این حوزه کمک شایانی می‌کند.
• شناسایی نقاط ضعف کلیدی: این مقاله با دقت بالا مشخص می‌کند که تحقیقات آینده باید بر کدام جنبه‌ها متمرکز شود: بهبود توانایی‌های استدلال، برنامه‌ریزی و درک عمیق‌تر معنایی در مدل‌های زبانی.
• راهنمایی عملی برای توسعه‌دهندگان ابزار: یکی از جالب‌ترین نتایج این مقاله، توصیه‌ای است که به توسعه‌دهندگان ابزارها (API Developers) ارائه می‌دهد. آن‌ها پیشنهاد می‌کنند که توسعه‌دهندگان نباید تنها یک توضیح (Description) ثابت برای ابزار خود بنویسند. بلکه باید توضیحات ابزار را برای مدل زبانی خاصی که قرار است از آن استفاده کند، بهینه‌سازی کنند. برای مثال، ممکن است لازم باشد با استفاده از یک «مدل بازنویسی (Rewrite Model)»، توضیحات یک API را به گونه‌ای تغییر داد که برای مدل GPT-4 واضح‌تر و قابل فهم‌تر از مدل Llama 3 باشد. این مفهوم «مهندسی توضیحات» یک رویکرد جدید و عملی برای بهبود تعامل میان مدل‌ها و ابزارهاست.

مقاله MetaTool Benchmark گامی مهم در جهت تکامل مدل‌های زبانی بزرگ از «ماشین‌های تولید متن» به «عوامل هوشمند خودمختار» است. این پژوهش تمرکز جامعه علمی را از پرسش «مدل‌ها چگونه از یک ابزار استفاده کنند؟» به پرسش عمیق‌تر و بنیادی‌تر «مدل‌ها چگونه تصمیم بگیرند که از چه ابزاری و چه زمانی استفاده کنند؟» تغییر می‌دهد.

این بنچمارک نه تنها یک ابزار ارزیابی، بلکه یک نقشه راه برای آینده پژوهش در این حوزه است. یافته‌های آن نشان می‌دهد که مسیر پیش رو برای ساختن عوامل هوشمند واقعی، نیازمند تمرکز ویژه بر تقویت قابلیت‌های استدلال و تصمیم‌گیری در مدل‌های زبانی است. MetaTool با فراهم کردن یک معیار دقیق برای سنجش این پیشرفت، نقشی حیاتی در تحقق این هدف ایفا خواهد کرد. در نهایت، تسلط بر هنر انتخاب ابزار مناسب برای کار مناسب، همان چیزی است که مرز بین یک دستیار زبانی و یک همکار هوشمند واقعی را مشخص می‌کند.