ترجمه فارسی مقاله آیا می توانیم برای تهیه برنامه های افکار طولانی به عوامل LLM اعتماد کنیم؟بیایید به عنوان نمونه Travelplanner را بگیریم

چکیده

Large language models (LLMs) have brought autonomous agents closer to artificial general intelligence (AGI) due to their promising generalization and emergent capabilities. There is, however, a lack of studies on how LLM-based agents behave, why they could potentially fail, and how to improve them, particularly in demanding real-world planning tasks. In this paper, as an effort to fill the gap, we present our study using a realistic benchmark, TravelPlanner, where an agent must meet multiple constraints to generate accurate plans. We leverage this benchmark to address four key research questions: (1) are LLM agents robust enough to lengthy and noisy contexts when it comes to reasoning and planning? (2) can few-shot prompting adversely impact the performance of LLM agents in scenarios with long context? (3) can we rely on refinement to improve plans, and (4) can fine-tuning LLMs with both positive and negative feedback lead to further improvement? Our comprehensive experiments indicate that, firstly, LLMs often fail to attend to crucial parts of a long context, despite their ability to handle extensive reference information and few-shot examples; secondly, they still struggle with analyzing the long plans and cannot provide accurate feedback for refinement; thirdly, we propose Feedback-Aware Fine-Tuning (FAFT), which leverages both positive and negative feedback, resulting in substantial gains over Supervised Fine-Tuning (SFT). Our findings offer in-depth insights to the community on various aspects related to real-world planning applications.

چکیده به فارسی (ترجمه ماشینی)

مدل های بزرگ زبان (LLM) به دلیل تعمیم امیدوار کننده و قابلیت های ظهور ، عوامل خودمختار را به هوش عمومی مصنوعی (AGI) نزدیک کرده اند.با این وجود ، عدم مطالعه در مورد نحوه رفتار نمایندگان مبتنی بر LLM ، چرا آنها به طور بالقوه می توانند شکست بخورند ، و چگونه می توانند آنها را بهبود بخشند ، به ویژه در خواستار انجام وظایف برنامه ریزی در دنیای واقعی.در این مقاله ، به عنوان تلاش برای پر کردن شکاف ، ما مطالعه خود را با استفاده از یک معیار واقع گرایانه ، Travelplanner ارائه می دهیم ، جایی که یک عامل برای تولید برنامه های دقیق باید محدودیت های مختلفی را برآورده کند.ما از این معیار استفاده می کنیم تا به چهار سؤال اصلی تحقیق بپردازیم: (1) آیا نمایندگان LLM به اندازه کافی قوی هستند تا زمینه های طولانی و پر سر و صدا هنگام استدلال و برنامه ریزی؟(2) آیا چند ضربه ای می تواند باعث تأثیر منفی بر عملکرد عوامل LLM در سناریوها با زمینه طولانی شود؟(3) آیا می توانیم برای بهبود برنامه ها به پالایش تکیه کنیم و (4) می تواند LLM های تنظیم دقیق با بازخورد مثبت و منفی منجر به بهبود بیشتر شود؟آزمایش های جامع ما نشان می دهد که ، اولاً ، LLM ها با وجود توانایی آنها در رسیدگی به اطلاعات مرجع گسترده و نمونه های چند عکس ، در بخش های مهم یک زمینه طولانی حضور ندارند.ثانیا ، آنها هنوز هم با تجزیه و تحلیل برنامه های طولانی مبارزه می کنند و نمی توانند بازخورد دقیقی برای پالایش ارائه دهند.ثالثاً ، ما پیشنهاد خوب تنظیم شده (FAFT) را ارائه می دهیم ، که از بازخورد مثبت و منفی استفاده می کند ، و در نتیجه سود قابل توجهی نسبت به تنظیم دقیق (SFT) انجام می شود.یافته های ما بینش های عمیقی را در مورد جنبه های مختلف مربوط به برنامه های برنامه ریزی در دنیای واقعی به جامعه ارائه می دهد.