ترجمه فارسی مقاله فرار از مدلهای زبان بزرگ با ریاضیات نمادین

چکیده

Recent advancements in AI safety have led to increased efforts in training and red-teaming large language models (LLMs) to mitigate unsafe content generation. However, these safety mechanisms may not be comprehensive, leaving potential vulnerabilities unexplored. This paper introduces MathPrompt, a novel jailbreaking technique that exploits LLMs’ advanced capabilities in symbolic mathematics to bypass their safety mechanisms. By encoding harmful natural language prompts into mathematical problems, we demonstrate a critical vulnerability in current AI safety measures. Our experiments across 13 state-of-the-art LLMs reveal an average attack success rate of 73.6\%, highlighting the inability of existing safety training mechanisms to generalize to mathematically encoded inputs. Analysis of embedding vectors shows a substantial semantic shift between original and encoded prompts, helping explain the attack’s success. This work emphasizes the importance of a holistic approach to AI safety, calling for expanded red-teaming efforts to develop robust safeguards across all potential input types and their associated risks.

چکیده به فارسی (ترجمه ماشینی)

پیشرفت های اخیر در ایمنی هوش مصنوعی منجر به افزایش تلاش در آموزش و مدل های بزرگ زبان (LLMS) برای کاهش تولید محتوای ناامن شده است.با این حال ، این مکانیسم های ایمنی ممکن است جامع نباشد و آسیب پذیری های احتمالی را ناشناخته می کند.در این مقاله MathPrompt ، یک روش جدید فرار از زندان است که از قابلیت های پیشرفته LLMS در ریاضیات نمادین برای دور زدن مکانیسم های ایمنی خود بهره می برد.با رمزگذاری زبان طبیعی مضر به مشکلات ریاضی ، ما یک آسیب پذیری اساسی را در اقدامات ایمنی فعلی هوش مصنوعی نشان می دهیم.آزمایشات ما در 13 LLMS پیشرفته ، میانگین موفقیت حمله حمله 73.6 \ ٪ را نشان می دهد ، که ناتوانی در مکانیسم های آموزش ایمنی موجود برای تعمیم در ورودی های رمزگذاری شده ریاضی را نشان می دهد.تجزیه و تحلیل بردارهای تعبیه شده ، تغییر معنایی قابل توجهی بین اعلان های اصلی و رمزگذاری شده نشان می دهد و به توضیح موفقیت حمله کمک می کند.این کار بر اهمیت یک رویکرد جامع به ایمنی هوش مصنوعی تأکید می کند ، و خواستار تلاش های گسترده برای تیم سازی قرمز برای توسعه حفاظت های قوی در تمام انواع ورودی بالقوه و خطرات مرتبط با آنها است.