英网络安全中心警示AI提示注入风险

快速阅读: 据英国国家网络安全中心（NCSC）发布消息称，该机构警示大语言模型面临“提示注入”攻击风险，呼吁业界加强安全设计、最小权限管控与日志监控，以降低AI供应链中的安全隐患。

日前，英国国家网络安全中心（NCSC）就大语言模型（LLM）面临的安全风险发出警示，强调“提示注入”攻击已成为AI系统的重要隐患，并呼吁各方采取措施降低其在人工智能供应链中的影响。该机构指出，当前唯一能彻底规避此类攻击的方式是停止使用LLM，但鉴于其广泛应用已不可逆转，业界应转向风险管控。

NCSC强调，LLM系统“本质上易被混淆”，设计者、开发者和运营方必须在系统构建初期即纳入这一认知。为此，该中心提出四项应对建议：首先，提升全行业对提示注入作为攻击手段的认知，将其纳入安全与风险管理框架；其次，坚持“安全设计”原则，通过确定性防护机制限制模型行为，而非仅依赖内容过滤；同时，严格遵循最小权限原则，确保LLM所获权限不高于与其交互的用户或系统。

此外，研究显示，通过技术手段区分指令与数据可增加攻击难度，例如微软研究人员提出的标记方法。但NCSC警告，简单依赖关键词屏蔽或短语拦截无效，因攻击者可轻易改写提示内容。任何声称能完全阻断提示注入的技术方案均应审慎对待。

最后，机构需全面了解LLM可能被滥用的路径及攻击者目标，建立常态监控机制。NCSC建议详细记录模型输入输出、工具调用及API交互日志，并对异常调用实施实时响应，以及时发现潜在攻击行为。专家指出，近期多起事件表明，被操控的LLM不仅可能导致错误输出，还可能泄露敏感数据，危及企业声誉与安全。

(以上内容均由Ai生成)