GenAI 容易受到及时注入攻击

快速阅读: 据《Beta新闻》最新报道，研究显示，十分之一的生成式AI提示注入攻击可绕过基础防护，且存在不确定性。人工智能安全公司Pangea举办挑战赛，发现攻击者能操控AI泄露敏感信息并绕过安全保护，行业对此风险重视不足。

新研究表明，十分之一针对生成式人工智能（GenAI）系统的提示注入攻击尝试能够绕过基本防护措施。它们的非确定性特质也意味着失败的尝试可能会突然成功，即便内容完全相同。

人工智能安全公司泛美（Pangea）在今年三月举办了提示注入挑战赛。这项为期一个月的活动吸引了来自85个国家的800多名参与者，他们试图通过三个难度递增的虚拟房间来绕过人工智能的安全防护。该挑战赛使用了超过3亿个标记，产生了近33万次提示注入尝试，创建了一个全面的数据集，揭示了组织当前保护其人工智能应用时存在的盲点。“这次挑战为我们提供了前所未有的洞察力，让我们了解了攻击者目前针对人工智能应用使用的现实战术，”泛美的联合创始人兼首席执行官奥利弗·弗里德里希斯（Oliver Friedrichs）说道，“我们观察到的攻击规模和复杂程度显示了人工智能安全威胁的巨大且快速发展的特性。防御这些威胁必须成为安全团队的核心考量，而不仅仅是形式上的检查或事后补救。”

挑战参与者成功操控大型语言模型（LLMs）以泄露敏感信息，尤其是在模型通过RAG（检索增强生成）系统或插件访问机密数据时。这些攻击提取了嵌入在系统提示中的内部指令、客户数据和秘密。具有工具访问权限的LLMs带来了更高的风险，因为攻击者将恶意指令嵌入看似无害的输入中，导致系统执行未授权操作，如发送电子邮件、修改文件和访问受限功能。

挑战参与者成功操控大型语言模型（LLMs）以泄露敏感信息，尤其是在模型通过RAG（检索增强生成）系统或插件访问机密数据时。这些攻击提取了嵌入在系统提示中的内部指令、客户数据和秘密。攻击者还展示了多种绕过内容安全保护的方法，包括在外部数据源中嵌入恶意提示以及编码有害指令以逃避检测，从而生成原本被限制的内容。

弗里德里希斯补充道：“业界对这一风险关注不足，并在许多情况下低估其影响，采取了一种危险的观望态度。人工智能的变化和采用速度令人震惊——比过去几十年的任何技术转型都快。随着组织迅速部署新的AI能力并增加对这些系统在关键操作中的依赖，安全漏洞正在每天扩大。现在是解决这些问题的时候了。”

您可以从泛美网站获取完整报告。

图片来源：Tero Vesalainen / Dreamstime.com

(以上内容均由Ai生成)