ترجمه فارسی مقاله جیلبریک کردن مدل‌های تبدیل متن به تصویر با عامل‌های مبتنی بر LLM

چکیده

Recent advancements have significantly improved automated task-solving capabilities using autonomous agents powered by large language models (LLMs). However, most LLM-based agents focus on dialogue, programming, or specialized domains, leaving their potential for addressing generative AI safety tasks largely unexplored. In this paper, we propose Atlas, an advanced LLM-based multi-agent framework targeting generative AI models, specifically focusing on jailbreak attacks against text-to-image (T2I) models with built-in safety filters. Atlas consists of two agents, namely the mutation agent and the selection agent, each comprising four key modules: a vision-language model (VLM) or LLM brain, planning, memory, and tool usage. The mutation agent uses its VLM brain to determine whether a prompt triggers the T2I model’s safety filter. It then collaborates iteratively with the LLM brain of the selection agent to generate new candidate jailbreak prompts with the highest potential to bypass the filter. In addition to multi-agent communication, we leverage in-context learning (ICL) memory mechanisms and the chain-of-thought (COT) approach to learn from past successes and failures, thereby enhancing Atlas’s performance. Our evaluation demonstrates that Atlas successfully jailbreaks several state-of-the-art T2I models equipped with multi-modal safety filters in a black-box setting. Additionally, Atlas outperforms existing methods in both query efficiency and the quality of generated images. This work convincingly demonstrates the successful application of LLM-based agents in studying the safety vulnerabilities of popular text-to-image generation models. We urge the community to consider advanced techniques like ours in response to the rapidly evolving text-to-image generation field.

چکیده به فارسی (ترجمه ماشینی)

پیشرفت های اخیر با استفاده از عوامل خودمختار که توسط مدل های بزرگ زبان (LLMS) تأمین می شوند ، قابلیت های حل کار خودکار را به طور قابل توجهی بهبود بخشیده اند.با این حال ، بیشتر نمایندگان مبتنی بر LLM بر روی گفتگو ، برنامه نویسی یا حوزه های تخصصی تمرکز می کنند و پتانسیل خود را برای پرداختن به کارهای ایمنی تولید AI تا حد زیادی ناشناخته می دانند.در این مقاله ، ما ATLAS ، یک چارچوب پیشرفته چند عامل مبتنی بر LLM را هدف قرار می دهیم که مدلهای AI تولیدی را هدف قرار می دهد ، به طور خاص با تمرکز بر حملات فرار از زندان علیه مدل های متن به تصویر (T2I) با فیلترهای ایمنی داخلی.ATLAS از دو عامل تشکیل شده است ، یعنی عامل جهش و عامل انتخاب ، هر یک شامل چهار ماژول اصلی است: یک مدل بینایی زبان (VLM) یا مغز LLM ، برنامه ریزی ، حافظه و استفاده از ابزار.عامل جهش از مغز VLM خود برای تعیین اینکه آیا سریع فیلتر ایمنی مدل T2I را تحریک می کند ، استفاده می کند.سپس به طور تکراری با مغز LLM عامل انتخاب همکاری می کند تا زندانیان نامزد جدید با بالاترین پتانسیل برای دور زدن فیلتر تولید شود.علاوه بر ارتباطات چند عامل ، ما از مکانیسم های حافظه یادگیری درون متن (ICL) و رویکرد زنجیره ای از فکر (COT) استفاده می کنیم تا از موفقیت ها و شکست های گذشته یاد بگیریم و از این طریق عملکرد اطلس را تقویت می کنیم.ارزیابی ما نشان می دهد که اطلس با موفقیت فرار از زندان چندین مدل پیشرفته T2I مجهز به فیلترهای ایمنی چند حالته در یک جعبه سیاه است.علاوه بر این ، اطلس از روشهای موجود در هر دو کارآیی پرس و جو و کیفیت تصاویر تولید شده بهتر عمل می کند.این کار به طرز قانع کننده ای نشان دهنده کاربرد موفقیت آمیز عوامل مبتنی بر LLM در مطالعه آسیب پذیری های ایمنی مدل های تولید محبوب متن به تصویر است.ما از جامعه می خواهیم که در پاسخ به زمینه تولید متن به تصویر به تصویر ، تکنیک های پیشرفته مانند ما را در نظر بگیرد.