ترجمه فارسی مقاله عوامل نفوذی: به خطر انداختن عوامل LLM خودمختار از طریق تقویت نقص

چکیده

Recently, autonomous agents built on large language models (LLMs) have experienced significant development and are being deployed in real-world applications. These agents can extend the base LLM’s capabilities in multiple ways. For example, a well-built agent using GPT-3.5-Turbo as its core can outperform the more advanced GPT-4 model by leveraging external components. More importantly, the usage of tools enables these systems to perform actions in the real world, moving from merely generating text to actively interacting with their environment. Given the agents’ practical applications and their ability to execute consequential actions, it is crucial to assess potential vulnerabilities. Such autonomous systems can cause more severe damage than a standalone language model if compromised. While some existing research has explored harmful actions by LLM agents, our study approaches the vulnerability from a different perspective. We introduce a new type of attack that causes malfunctions by misleading the agent into executing repetitive or irrelevant actions. We conduct comprehensive evaluations using various attack methods, surfaces, and properties to pinpoint areas of susceptibility. Our experiments reveal that these attacks can induce failure rates exceeding 80% in multiple scenarios. Through attacks on implemented and deployable agents in multi-agent scenarios, we accentuate the realistic risks associated with these vulnerabilities. To mitigate such attacks, we propose self-examination detection methods. However, our findings indicate these attacks are difficult to detect effectively using LLMs alone, highlighting the substantial risks associated with this vulnerability.

چکیده به فارسی (ترجمه ماشینی)

به تازگی ، عوامل خودمختار که بر اساس مدل های بزرگ زبان (LLM) ساخته شده اند ، پیشرفت قابل توجهی را تجربه کرده اند و در برنامه های دنیای واقعی مستقر می شوند.این عوامل می توانند قابلیت های پایه LLM را به روش های مختلفی گسترش دهند.به عنوان مثال ، یک عامل خوب ساخته شده با استفاده از GPT-3.5 توربو به عنوان هسته آن می تواند با استفاده از اجزای خارجی از مدل GPT-4 پیشرفته تر عمل کند.مهمتر از همه ، استفاده از ابزارها این سیستم ها را قادر می سازد تا در دنیای واقعی اقداماتی را انجام دهند و صرفاً از ایجاد متن به تعامل فعال با محیط خود حرکت می کنند.با توجه به کاربردهای عملی عوامل و توانایی آنها در انجام اقدامات نتیجه ، ارزیابی آسیب پذیری های احتمالی بسیار مهم است.چنین سیستم های خودمختار در صورت به خطر انداختن می توانند آسیب شدید تری نسبت به یک مدل زبان مستقل ایجاد کنند.در حالی که برخی از تحقیقات موجود اقدامات مضر عوامل LLM را مورد بررسی قرار داده است ، مطالعه ما از دیدگاه متفاوت به آسیب پذیری نزدیک می شود.ما نوع جدیدی از حمله را معرفی می کنیم که با گمراه کردن نماینده در اجرای اقدامات تکراری یا بی ربط ، باعث نقص عملکرد می شود.ما ارزیابی های جامع را با استفاده از روش های مختلف حمله ، سطوح و خواص انجام می دهیم تا مناطقی از حساسیت را مشخص کنیم.آزمایشات ما نشان می دهد که این حملات می توانند میزان خرابی بیش از 80 ٪ را در سناریوهای مختلف القا کنند.از طریق حملات به عوامل اجرا شده و مستقر در سناریوهای چند عامل ، خطرات واقع گرایانه مرتبط با این آسیب پذیری ها را برجسته می کنیم.برای کاهش چنین حملات ، ما روشهای تشخیص خودآزمایی را پیشنهاد می کنیم.با این حال ، یافته های ما نشان می دهد که تشخیص این حملات به طور مؤثر با استفاده از LLMS به تنهایی دشوار است و خطرات قابل توجهی در ارتباط با این آسیب پذیری را برجسته می کند.