ترجمه فارسی مقاله به خطر انداختن عامل‌های مجسم با حملات در پشتی زمینه‌ای

چکیده

Large language models (LLMs) have transformed the development of embodied intelligence. By providing a few contextual demonstrations, developers can utilize the extensive internal knowledge of LLMs to effortlessly translate complex tasks described in abstract language into sequences of code snippets, which will serve as the execution logic for embodied agents. However, this paper uncovers a significant backdoor security threat within this process and introduces a novel method called method{}. By poisoning just a few contextual demonstrations, attackers can covertly compromise the contextual environment of a black-box LLM, prompting it to generate programs with context-dependent defects. These programs appear logically sound but contain defects that can activate and induce unintended behaviors when the operational agent encounters specific triggers in its interactive environment. To compromise the LLM’s contextual environment, we employ adversarial in-context generation to optimize poisoned demonstrations, where an LLM judge evaluates these poisoned prompts, reporting to an additional LLM that iteratively optimizes the demonstration in a two-player adversarial game using chain-of-thought reasoning. To enable context-dependent behaviors in downstream agents, we implement a dual-modality activation strategy that controls both the generation and execution of program defects through textual and visual triggers. We expand the scope of our attack by developing five program defect modes that compromise key aspects of confidentiality, integrity, and availability in embodied agents. To validate the effectiveness of our approach, we conducted extensive experiments across various tasks, including robot planning, robot manipulation, and compositional visual reasoning. Additionally, we demonstrate the potential impact of our approach by successfully attacking real-world autonomous driving systems.

چکیده به فارسی (ترجمه ماشینی)

مدل های بزرگ زبان (LLM) توسعه هوش تجسم یافته را تغییر داده اند.با ارائه چند تظاهرات متنی ، توسعه دهندگان می توانند از دانش داخلی گسترده LLM ها برای ترجمه بدون زحمت وظایف پیچیده ای که در زبان انتزاعی به توالی قطعه های کد شرح داده شده است ، استفاده کنند ، که به عنوان منطق اجرای عوامل تجسم یافته عمل می کند.با این حال ، این مقاله یک تهدید مهم امنیتی در پشت در این فرآیند را کشف می کند و یک روش جدید به نام روش {را معرفی می کند.مهاجمان با مسمومیت فقط چند تظاهرات متنی ، می توانند به طور پنهانی محیط متنی یک LLM با جعبه سیاه را به خطر بیاندازند و باعث می شوند برنامه هایی با نقص وابسته به متن تولید کنند.این برنامه ها از نظر منطقی سالم به نظر می رسند اما حاوی نقص هایی هستند که می توانند در هنگام برخورد با عامل عملیاتی در محیط تعاملی خود ، رفتارهای ناخواسته را فعال و القا کنند.برای به خطر انداختن محیط متنی LLM ، ما برای بهینه سازی تظاهرات مسموم ، از نسل متناوب در متن استفاده می کنیم ، جایی که یک قاضی LLM این پیشبرد های مسموم را ارزیابی می کند ، و به یک LLM اضافی گزارش می دهد که به طور تکراری تظاهرات را در یک بازی مخالف دو نفره با استفاده از زنجیره ای از زنجیره ای بهینه می کنداستدلال فکربرای فعال کردن رفتارهای وابسته به زمینه در عوامل پایین دست ، ما یک استراتژی فعال سازی دو حالته را اجرا می کنیم که هم تولید و هم اجرای نقص برنامه را از طریق محرک های متنی و بصری کنترل می کند.ما با ایجاد پنج حالت نقص برنامه که جنبه های اصلی محرمانه بودن ، یکپارچگی و در دسترس بودن در عوامل تجسم یافته را به خطر می اندازد ، دامنه حمله خود را گسترش می دهیم.برای اعتبارسنجی اثربخشی رویکرد ما ، ما آزمایش های گسترده ای را در میان کارهای مختلف از جمله برنامه ریزی ربات ، دستکاری ربات و استدلال بصری ترکیبی انجام دادیم.علاوه بر این ، ما با حمله موفقیت آمیز به سیستم های رانندگی خودمختار در دنیای واقعی ، تأثیر بالقوه رویکرد خود را نشان می دهیم.