英网络安全中心警示AI提示注入风险

快速阅读: 据英国国家网络安全中心（NCSC）发布消息称，该机构警示大语言模型面临提示注入攻击风险，呼吁在AI系统设计初期纳入安全措施，并提出四项应对建议以降低供应链隐患。

日前，英国国家网络安全中心（NCSC）就大语言模型（LLM）面临的安全风险发出警示，指出提示注入攻击已成为AI系统的重要隐患，并呼吁相关方采取措施降低其在人工智能供应链中的影响。该机构强调，尽管彻底停用LLM已不现实，但设计者、开发者和运营方必须承认LLM“本质上易受混淆”，并在系统构建初期纳入可控变量。

NCSC提出四项应对建议。首先，开发者需充分认识提示注入作为一种攻击手段的严重性，目前该风险尚未被广泛理解。同时，采用LLM的组织、安全专业人员及风险负责人应将其纳入整体风险管理框架。其次，LLM系统须遵循“安全设计”原则，重点部署确定性防护机制以限制模型行为，而非仅阻断恶意输入。此外，应严格实施最小权限原则，确保LLM所获权限不超过与其交互用户的权限范围。

该机构还指出，可通过技术手段区分指令与数据，使攻击者更难操控模型输出。例如，微软研究人员发现，对输入数据进行明确标记可增加提示注入难度。但NCSC警告，依赖关键词屏蔽等方法无效，因攻击者可轻易改写指令；对声称能完全阻止提示注入的技术供应商也应保持高度审慎。

最后，NCSC建议组织在设计阶段即评估LLM可能被滥用的路径及攻击目标，并建立全面日志机制，包括完整记录模型输入输出及调用的工具或API。实时监控工具或API调用失败情况尤为关键，此类异常可能是攻击者正在测试攻击方案的信号。

(以上内容均由Ai生成)