مقدمه: مدل‌های زبانی بزرگ (LLM) انقلابی در پردازش زبان طبیعی ایجاد کرده‌اند و در طیف وسیعی از وظایف، از تولید متن گرفته تا خلاصه‌سازی و ترجمه، عملکرد چشمگیری از خود نشان داده‌اند. با این حال، توانایی آن‌ها در حل مسائلی که نیازمند محاسبات پیچیده، شبیه‌سازی‌های تخصصی یا دسترسی به دانش عمیق در حوزه‌های خاص هستند، با محدودیت‌هایی روبرو است. برای غلبه بر این چالش، محققان به سمت توسعه عامل‌های مبتنی بر LLM سوق یافته‌اند که می‌توانند از ابزارهای خارجی بهره ببرند. با این حال، رویکردهای موجود اغلب در انعطاف‌پذیری برای مواجهه با پرس‌وجوهای متنوع و در حال تکامل در حوزه‌های باز، با مشکل مواجه هستند. فقدان یک مجموعه داده استاندارد برای ارزیابی LLMها در حل مسائل باز که نیازمند استفاده از ابزار است، این شکاف را تشدید می‌کند. مقاله حاضر با معرفی یک چارچوب نوآورانه و ابزارهای جدید، گامی اساسی در جهت توانمندسازی LLMها برای حل مسائل پیچیده در حوزه‌های باز برمی‌دارد.

این پژوهش توسط گروهی از محققان برجسته شامل Bohan Lyu، Xin Cong، Heyang Yu، Pan Yang، Yujia Qin، Yining Ye، Yaxi Lu، Zhong Zhang، Yukun Yan، Yankai Lin، Zhiyuan Liu و Maosong Sun انجام شده است. این تیم تحقیقاتی در حوزه‌های مهندسی نرم‌افزار، هوش مصنوعی و بازیابی اطلاعات فعالیت دارند و تخصص آن‌ها طیف وسیعی از دانش مورد نیاز برای این پژوهش را پوشش می‌دهد.

زمینه تحقیق این مقاله بر ارتقای توانایی LLMها در حوزه‌های باز متمرکز است. حوزه‌های باز به مجموعه‌ای از مسائل گفته می‌شود که دامنه و پیچیدگی آن‌ها وسیع و نامشخص است و به طور مداوم در حال تغییر و تکامل هستند. LLMها به طور ذاتی در وظایف زبانی عمومی بسیار توانمند هستند، اما زمانی که نیاز به دانش تخصصی، محاسبات عددی دقیق، یا اجرای کد و شبیه‌سازی در محیط‌های نرم‌افزاری خاص باشد، با چالش مواجه می‌شوند. این مقاله به دنبال پر کردن این شکاف با ارائه راهکارهایی برای ادغام خودکار و هوشمندانه ابزارهای تخصصی موجود در مخازن کد مانند گیت‌هاب است.

چکیده این مقاله به طور مختصر به مسئله اصلی، راه‌حل پیشنهادی و نتایج کلیدی اشاره دارد. LLMها در وظایف پردازش زبان طبیعی سنتی عملکرد خوبی دارند، اما در حل مسائلی که نیازمند محاسبات پیچیده یا شبیه‌سازی‌های تخصصی در حوزه‌های خاص هستند، دچار مشکل می‌شوند. برای افزایش توانمندی LLMها، می‌توان آن‌ها را با ابزارهای خارجی مجهز کرد تا عامل‌های مبتنی بر LLM ساخته شوند. با این حال، رویکردهای موجود انعطاف‌پذیری کافی برای مواجهه با پرس‌وجوهای متنوع و در حال تحول در حوزه‌های باز را ندارند. همچنین، تا پیش از این، مجموعه داده‌ای برای ارزیابی LLMها در دانش باز که نیازمند حل با ابزار است، وجود نداشت.

برای رفع این مشکل، نویسندگان مجموعه داده OpenAct را معرفی می‌کنند. این مجموعه داده برای ارزیابی توانایی حل مسئله در حوزه‌های باز LLMها طراحی شده است و بر اساس مشاوره با متخصصان انسانی و مخازن گیت‌هاب ساخته شده است. OpenAct شامل ۳۳۹ پرسش در ۷ حوزه متنوع است که حل آن‌ها نیازمند روش‌های خاص دامنه است. نتایج تجربیات نشان می‌دهد که حتی LLMهای پیشرفته و عامل‌های مبتنی بر LLM نیز نرخ موفقیت رضایت‌بخشی ندارند، که این امر ضرورت یک رویکرد جدید را برجسته می‌سازد.

علاوه بر این، محققان سیستم عامل OpenAgent را معرفی کرده‌اند. OpenAgent یک سیستم عامل مبتنی بر LLM است که قادر است با ادغام خودکار ابزارهای تخصصی از گیت‌هاب، به پرس‌وجوهای در حال تحول در حوزه‌های باز پاسخ دهد. این سیستم دارای ویژگی‌های کلیدی زیر است:

• چارچوب سلسله مراتبی: عامل‌های تخصصی مسئول وظایف خاصی هستند و می‌توانند وظایف را به عامل‌های زیرمجموعه خود محول کنند. این ساختار به مدیریت پیچیدگی و تقسیم کار کمک می‌کند.
• مکانیزم یادگیری تجربه دو سطحی: این مکانیزم به OpenAgent اجازه می‌دهد تا از تجربیات هم انسان‌ها و هم خود سیستم، برای رفع نواقص ابزارها بیاموزد. این امر به بهبود مستمر عملکرد کمک می‌کند.

آزمایش‌ها نشان‌دهنده اثربخشی و کارایی برتر OpenAgent است که به طور قابل توجهی از رویکردهای پایه (baselines) پیشی می‌گیرد. کد و داده‌های این پروژه به صورت متن‌باز در دسترس قرار گرفته است.

روش‌شناسی تحقیق در این مقاله بر دو ستون اصلی استوار است: ایجاد یک مجموعه داده جامع برای ارزیابی و توسعه یک عامل هوشمند برای حل مسائل باز.

۱. ایجاد مجموعه داده OpenAct:

• مشاوره با متخصصان انسانی: اولین گام در ساخت OpenAct، بهره‌گیری از دانش متخصصان در حوزه‌های مختلف بود. این متخصصان به شناسایی نیازهای واقعی و چالش‌های رایج در حوزه‌های باز کمک کردند.
• کاوش در مخازن گیت‌هاب: مخازن گیت‌هاب به عنوان گنجینه‌ای از ابزارهای نرم‌افزاری، کتابخانه‌ها و کدهای کاربردی در نظر گرفته شدند. این مخازن برای شناسایی ابزارهایی که می‌توانند به حل مسائل پیچیده کمک کنند، مورد بررسی قرار گرفتند.
• طراحی پرسش‌ها: بر اساس دانش متخصصان و ابزارهای شناسایی شده، ۳۳۹ پرسش در ۷ حوزه متنوع طراحی شد. این پرسش‌ها به گونه‌ای انتخاب شدند که حل آن‌ها نیازمند استفاده از ابزارهای خاص دامنه باشد و صرفاً با توانایی‌های زبانی LLMها قابل حل نباشند. حوزه‌هایی مانند تحلیل داده، پردازش تصویر، شبیه‌سازی‌های علمی، و توسعه نرم‌افزار از جمله این موارد هستند.
• ارزیابی LLMهای موجود: قبل از معرفی OpenAgent، LLMهای پیشرفته و عامل‌های مبتنی بر LLM موجود بر روی مجموعه داده OpenAct آزمایش شدند تا نقاط ضعف فعلی آشکار شود. نتایج این ارزیابی، نیاز مبرم به راه‌حل‌های نوین را تایید کرد.

۲. توسعه سیستم OpenAgent:

• چارچوب عامل سلسله مراتبی: این چارچوب شامل سطوح مختلفی از عامل‌ها است. عامل سطح بالاتر مسئول درک کلی مسئله و تقسیم آن به زیروظایف است. سپس این زیروظایف به عامل‌های تخصصی‌تر در سطوح پایین‌تر محول می‌شوند. این عامل‌های تخصصی، ابزارهای مناسب را از گیت‌هاب (یا منابع دیگر) انتخاب و اجرا می‌کنند. این رویکرد مشابه روش‌های مهندسی نرم‌افزار است که وظایف پیچیده به ماژول‌های کوچکتر و قابل مدیریت تقسیم می‌شوند.
• ادغام خودکار ابزار از گیت‌هاب: OpenAgent قادر است با تحلیل پرس‌وجو، ابزارهای مرتبط را از مخازن عمومی گیت‌هاب شناسایی کند. این ابزارها می‌توانند شامل کتابخانه‌های پایتون، اسکریپت‌های اجرا شونده، یا حتی APIهای سرویس‌های خارجی باشند. سیستم به طور خودکار این ابزارها را دانلود، پیکربندی و اجرا می‌کند.
• مکانیزم یادگیری تجربه دو سطحی: برای بهبود مداوم، OpenAgent دو نوع تجربه را ثبت و یاد می‌گیرد:
  • تجربه انسانی: این شامل بازخورد مستقیم متخصصان انسانی در مورد نحوه حل مسائل و عملکرد ابزارها است.
  • تجربه خودکار: سیستم نتایج اجرای ابزارها، خطاهای رخ داده، و موفقیت‌ها را ثبت می‌کند.

  این اطلاعات دوگانه به OpenAgent کمک می‌کند تا استراتژی‌های بهتری برای انتخاب و استفاده از ابزارها اتخاذ کند و از تکرار خطاها جلوگیری کند.

• حل مسائل در حوزه‌های باز: با ترکیب چارچوب سلسله مراتبی، ادغام ابزار خودکار و یادگیری مستمر، OpenAgent قادر است به طیف وسیعی از پرس‌وجوهای جدید و پیچیده پاسخ دهد، حتی اگر قبلاً با آن‌ها مواجه نشده باشد.

این پژوهش به یافته‌های مهم و قابل توجهی دست یافته است که مسیر آینده تحقیقات در زمینه عامل‌های مبتنی بر LLM را روشن می‌سازد:

• نیاز مبرم به مجموعه داده استاندارد: ایجاد مجموعه داده OpenAct نشان داد که LLMهای فعلی، حتی پیشرفته‌ترین آن‌ها، در مواجهه با وظایف نیازمند ابزار در حوزه‌های باز، عملکرد ضعیفی دارند. این یافته بر اهمیت وجود معیارهای ارزیابی دقیق و چالش‌برانگیز تأکید می‌کند.
• نقص در رویکردهای موجود: نتایج تجربیات نشان داد که رویکردهای کنونی در ساخت عامل‌های مبتنی بر LLM، فاقد انعطاف‌پذیری لازم برای سازگاری با طیف وسیع و متغیر پرس‌وجوها در حوزه‌های باز هستند.
• کارایی OpenAgent: سیستم OpenAgent، که با ادغام خودکار ابزار از گیت‌هاب و استفاده از چارچوب سلسله مراتبی و یادگیری دو سطحی طراحی شده است، به طور قابل توجهی از روش‌های پایه (baselines) در حل مسائل OpenAct پیشی گرفت. این امر نشان‌دهنده موفقیت رویکرد پیشنهادی در ارتقای توانایی حل مسئله LLMها است.
• اهمیت یادگیری مستمر: مکانیزم یادگیری تجربه دو سطحی در OpenAgent نقش حیاتی در بهبود عملکرد ایفا کرد. توانایی یادگیری از خطاهای خود و بازخورد انسانی، به سیستم اجازه می‌دهد تا با گذشت زمان، هوشمندتر و کارآمدتر عمل کند.
• پتانسیل گیت‌هاب به عنوان منبع ابزار: این تحقیق نشان داد که مخازن عمومی کد مانند گیت‌هاب، منبعی غنی و قابل دسترس از ابزارهای تخصصی هستند که می‌توانند به طور مؤثر توسط عامل‌های هوشمند مورد استفاده قرار گیرند.
• پیچیدگی حوزه‌های باز: ماهیت غیرقابل پیش‌بینی و متنوع حوزه‌های باز، نیازمند سیستم‌هایی است که بتوانند به صورت پویا ابزارها و روش‌های جدید را شناسایی و ادغام کنند، که OpenAgent نمونه‌ای موفق از این قابلیت است.

این پژوهش نتایج ملموسی دارد که می‌تواند در طیف گسترده‌ای از کاربردها مورد استفاده قرار گیرد:

• دستیارهای هوشمند پیشرفته: OpenAgent می‌تواند پایه و اساس دستیارهای هوشمند نسل بعدی باشد که قادر به کمک در وظایف پیچیده‌تر مانند تحلیل داده‌های علمی، رفع اشکالات کد، یا شبیه‌سازی‌های مهندسی هستند.
• اتوماسیون وظایف تخصصی: در محیط‌های آکادمیک و صنعتی، این سیستم می‌تواند وظایف تکراری یا پیچیده‌ای را که نیازمند ابزارهای نرم‌افزاری خاص هستند، به صورت خودکار انجام دهد و زمان و منابع انسانی را صرفه‌جویی کند.
• توسعه نرم‌افزار: OpenAgent می‌تواند به توسعه‌دهندگان در یافتن و استفاده از کتابخانه‌ها و ابزارهای مناسب برای پروژه‌هایشان کمک کند، و سرعت و کیفیت توسعه نرم‌افزار را افزایش دهد.
• آموزش و پژوهش: مجموعه داده OpenAct ابزاری ارزشمند برای محققان جهت ارزیابی و مقایسه مدل‌های LLM در حل مسائل پیچیده فراهم می‌کند. همچنین، OpenAgent می‌تواند به عنوان یک پلتفرم برای کشف و یادگیری ابزارهای تخصصی جدید عمل کند.
• مواجهه با چالش‌های پیچیده: توانایی ادغام خودکار ابزار، OpenAgent را قادر می‌سازد تا با مسائلی روبرو شود که قبلاً برای LLMها غیرقابل حل بودند، مانند تحلیل مجموعه داده‌های بزرگ، یا اجرای شبیه‌سازی‌های فیزیکی.
• دسترسی به دانش تخصصی: با اتصال به منابعی مانند گیت‌هاب، LLMها می‌توانند به گنجینه‌ای از دانش تخصصی و ابزارهای عملی دست یابند و فراتر از دانش عمومی خود عمل کنند.

دستاوردهای کلیدی این مقاله شامل معرفی یک مجموعه داده ارزیابی جدید (OpenAct) و یک سیستم عامل نوآورانه (OpenAgent) است که نشان‌دهنده گامی رو به جلو در توانمندسازی LLMها برای حل مسائل واقعی و پیچیده در حوزه‌های باز است.

این پژوهش با موفقیت به یکی از چالش‌های اساسی در حوزه مدل‌های زبانی بزرگ، یعنی محدودیت آن‌ها در حل مسائل پیچیده در حوزه‌های باز، پرداخته است. معرفی مجموعه داده OpenAct، شکاف موجود در ارزیابی LLMها را پر کرده و نیاز به توسعه سیستم‌های پیشرفته‌تر را آشکار ساخته است. سیستم OpenAgent، به عنوان راه‌حل پیشنهادی، با بهره‌گیری از یک چارچوب سلسله مراتبی هوشمندانه و توانایی ادغام خودکار ابزارهای تخصصی از منابعی چون گیت‌هاب، قادر است به طور چشمگیری توانایی حل مسئله LLMها را در حوزه‌های نامحدود و در حال تحول ارتقا دهد.

یافته‌های کلیدی این تحقیق بر اهمیت توسعه روش‌هایی تأکید دارند که LLMها را قادر سازند تا از ابزارهای خارجی به صورت هوشمندانه و خودکار استفاده کنند. مکانیزم یادگیری دو سطحی، نوآوری دیگری است که امکان بهبود مستمر عملکرد سیستم را با تکیه بر تجربیات انسانی و خودکار فراهم می‌آورد.

در مجموع، این مقاله مسیری هیجان‌انگیز را برای آینده هوش مصنوعی ترسیم می‌کند، جایی که LLMها صرفاً پردازشگرهای زبان نخواهند بود، بلکه عامل‌های توانمندی خواهند شد که می‌توانند با ابزارهای تخصصی همکاری کرده و مسائل پیچیده‌تر علمی، مهندسی و روزمره را حل کنند. دسترسی آزاد به کد و داده‌های این پژوهش، فرصت‌های بیشتری را برای جامعه تحقیقاتی فراهم می‌آورد تا بر این دستاوردها بنا نهاده و پیشرفت‌های بیشتری را در این زمینه رقم بزنند.