英网络安全中心警示AI提示注入风险

快速阅读: 据英国国家网络安全中心（NCSC）发布消息称，提示注入攻击利用大语言模型无法区分指令与数据的特性，诱使其执行非预期操作，此类风险难以根除，建议通过架构设计、监控和测试降低影响。

英国国家网络安全中心（NCSC）近日发布警告，提醒安全团队警惕人工智能提示注入攻击。此类攻击通过向大语言模型输入看似无害的内容，利用模型无法区分开发者预设指令与用户输入的特性，诱使其执行非预期操作。

NCSC平台研究技术总监大卫·C指出，提示注入常被误认为类似SQL注入攻击，但二者本质不同。传统漏洞如SQL注入、跨站脚本等可通过严格分离数据与指令加以防范，例如使用参数化查询确保输入不被解析为指令。然而，大语言模型内部并无“数据”与“指令”的区分，其运行机制仅基于预测下一个最可能的文本标记。“正因如此，提示注入攻击可能无法像SQL注入那样被彻底根除。”他强调。

专家建议，应将提示注入视为对“内在易混淆代理”的利用——即攻击者诱导具备高权限的系统组件代其执行恶意操作。与传统“混淆代理”漏洞不同，大语言模型的这一特性难以通过技术手段完全消除。因此，防御重点应转向降低风险与影响。若某应用场景无法承受残余风险，则不宜部署大语言模型。

安全人士同时提醒，尽管无法彻底阻断此类攻击，但可借鉴SQL注入防护经验，通过系统性设计提升整体安全性。企业需在架构层面充分考虑提示注入威胁，强化监控、持续测试，并及时识别异常行为，以在攻击早期阶段迅速响应。

(以上内容均由Ai生成)