ترجمه فارسی مقاله عامل Q: استدلال و یادگیری پیشرفته برای عوامل هوش مصنوعی مستقل

چکیده

Large Language Models (LLMs) have shown remarkable capabilities in natural language tasks requiring complex reasoning, yet their application in agentic, multi-step reasoning within interactive environments remains a difficult challenge. Traditional supervised pre-training on static datasets falls short in enabling autonomous agent capabilities needed to perform complex decision-making in dynamic settings like web navigation. Previous attempts to bridge this ga-through supervised fine-tuning on curated expert demonstrations-often suffer from compounding errors and limited exploration data, resulting in sub-optimal policy outcomes. To overcome these challenges, we propose a framework that combines guided Monte Carlo Tree Search (MCTS) search with a self-critique mechanism and iterative fine-tuning on agent interactions using an off-policy variant of the Direct Preference Optimization (DPO) algorithm. Our method allows LLM agents to learn effectively from both successful and unsuccessful trajectories, thereby improving their generalization in complex, multi-step reasoning tasks. We validate our approach in the WebShop environment-a simulated e-commerce platform where it consistently outperforms behavior cloning and reinforced fine-tuning baseline, and beats average human performance when equipped with the capability to do online search. In real-world booking scenarios, our methodology boosts Llama-3 70B model’s zero-shot performance from 18.6% to 81.7% success rate (a 340% relative increase) after a single day of data collection and further to 95.4% with online search. We believe this represents a substantial leap forward in the capabilities of autonomous agents, paving the way for more sophisticated and reliable decision-making in real-world settings.

چکیده به فارسی (ترجمه ماشینی)

مدل های بزرگ زبان (LLMS) در کارهای طبیعی زبان که نیاز به استدلال پیچیده دارند ، توانایی های قابل توجهی را نشان داده اند ، اما کاربرد آنها در استدلال عامل و چند مرحله ای در محیط های تعاملی یک چالش دشوار است.پیش از نظارت سنتی در مجموعه داده های استاتیک در فعال کردن قابلیت های عامل خودمختار مورد نیاز برای انجام تصمیم گیری پیچیده در تنظیمات پویا مانند ناوبری وب کوتاه است.تلاش های قبلی برای برطرف کردن این تنظیم دقیق بر روی تظاهرات متخصص سرپرستی-که غالباً از خطاهای ترکیب و داده های اکتشافی محدود رنج می برند ، منجر به نتایج سیاست های زیر بهینه می شود.برای غلبه بر این چالش ها ، ما یک چارچوب را پیشنهاد می کنیم که ترکیبی از جستجوی مونت کارلو Search Tree (MCTS) با یک مکانیسم خود نقد و تنظیم دقیق تکراری بر روی تعامل عامل با استفاده از یک نوع خارج از سیاست از الگوریتم مستقیم بهینه سازی اولویت (DPO).روش ما به عوامل LLM اجازه می دهد تا از هر دو مسیر موفق و ناموفق به طور مؤثر یاد بگیرند ، در نتیجه تعمیم آنها را در کارهای استدلال پیچیده و چند مرحله ای بهبود بخشند.ما رویکرد خود را در محیط Webshop Anvironment-A را تأیید می کنیم که پلت فرم تجارت الکترونیکی شبیه سازی شده است که در آن به طور مداوم از کلون سازی رفتار و پایه تنظیم دقیق بهتر عمل می کند ، و عملکرد انسان را در صورت مجهز بودن به قابلیت انجام جستجوی آنلاین می کند.در سناریوهای رزرو در دنیای واقعی ، روش ما عملکرد صفر مدل Llama-3 70B را از 18.6 ٪ به 81.7 ٪ میزان موفقیت (افزایش نسبی 340 ٪) پس از یک روز جمع آوری داده ها و بیشتر با جستجوی آنلاین افزایش می دهد.ما معتقدیم که این یک جهش قابل توجه در قابلیت های عوامل خودمختار است و راه را برای تصمیم گیری پیشرفته تر و قابل اعتماد تر در تنظیمات دنیای واقعی هموار می کند.