AI 幻觉及其对网络安全运营的风险
快速阅读: 据《帮助网络安全》最新报道，AI幻觉可能带来严重后果，如误报或忽略真实威胁。为应对这一问题，企业需采用RAG、元数据追踪、人工监督及持续教育等策略，同时将AI视为辅助工具而非决策者，以降低风险并提高安全性。
人工智能系统有时会产生错误或误导性的输出，这种现象被称为“幻觉”。这些错误可能从轻微的不准确到误解威胁情报，甚至虚构不存在的漏洞不等。
现实世界的影响
如果一家公司的AI代理使用的是过时或不准确的数据，AI幻觉可能会虚构不存在的漏洞或误解威胁情报，从而导致不必要的警报或忽略的风险。这类错误会将资源从真正的威胁上转移开，创造新的漏洞，并浪费已受限制的安全运营团队的资源。
“如果一家公司的AI代理使用的是过时或不准确的数据，AI幻觉可能会虚构不存在的漏洞或误解威胁情报，从而导致不必要的警报或忽略的风险。这类错误会将资源从真正的威胁上转移开，创造新的漏洞，并浪费已经受到限制的安全运营团队的资源。”Tanium的AI副总裁哈曼·考尔（Harman Kaur）告诉《帮助网络安全》。
一个新兴的担忧是所谓的包幻觉现象，其中AI模型建议不存在的软件包。这个问题已被确定为供应链攻击的一个潜在途径，称为“垃圾占用”。攻击者可以通过创建带有建议名称的恶意包来利用这些幻觉，导致开发者无意间将有害代码引入其系统。
“如果没有经过彻底验证和手动验证就使用AI生成的代码，可能会引入重大风险和复杂性。初级开发人员特别容易受到错误代码或配置文件的风险影响，因为他们缺乏足够的技能来正确审计代码。至于高级开发人员，他们很可能会及时发现错误，然而，越来越多的开发人员过度依赖生成式AI，盲目信赖其输出。”ImmuniWeb首席执行官伊利亚·科洛琴科（Ilia Kolochenko）说。
另一个担忧是AI产生虚假威胁情报的可能性。如果这些报告被视为真实，可能会分散对实际威胁的注意力，使真正的漏洞得不到解决。当AI输出没有与可靠来源交叉验证时，这种风险会加剧。
缓解AI幻觉的策略
“AI幻觉是概率模型的预期副产品。”Qwiet AI的首席技术官切坦·康尼基（Chetan Conikee）解释道，强调重点不应放在完全消除它们上，而是在最小化操作中断方面。“CISO的重点应该是通过设计、监控和政策来限制操作影响。”
这始于有意架构。康尼基建议在AI系统周围实施结构化的信任框架，这种方法包括实用的中间件，通过确定性检查和特定领域的过滤器来验证输入和输出。这一步确保模型不是孤立运行的，而是在一个明确界定的范围内运行，反映企业需求和安全态势。
可追溯性是另一个关键点。“所有AI生成的响应都必须携带元数据，包括源上下文、模型版本、提示结构和时间戳。”康尼基指出。这种元数据在出现不准确时可以加快审计和根本原因分析，这是AI输出集成到业务运营或面向客户工具中的关键保障。
对于部署大型语言模型的企业，康尼基建议避免开放式的生成，除非必要。相反，组织应依靠基于精心策划的内部知识库的检索增强生成（RAG）。“这样可以确保模型仅从经过验证的信息中获取，并与内部标准相符。”
测试严谨性也很重要。“幻觉检测工具应在测试阶段集成。”康尼基说。在模型进入生产环境之前，安全领导者应设定可接受的风险和失败模式阈值。“目标不是完美的准确性，而是对生成式AI的使用方式和地点进行可衡量且可审计的控制。”
通过在AI部署中嵌入信任、可追溯性和控制，CISO可以平衡创新与问责制，在不影响进展的前提下控制幻觉：
1. **实施检索增强生成（RAG）**：RAG结合了AI的生成能力和检索系统，该系统从经过验证的数据源提取信息。这种方法使AI输出基于事实数据，降低了幻觉的可能性。
2. **使用自动化推理工具**：像亚马逊这样的公司正在开发使用数学证明来验证AI输出的工具，确保它们符合既定规则和政策要求。这些工具可以在关键应用中提供一层保障，如《华尔街日报》报道。
3. **定期更新训练数据**：确保AI系统接受当前和准确数据的培训可以最小化幻觉的风险。过时或有偏见的数据可能导致AI生成错误输出。
4. **引入人为监督**：人类专家应审查AI生成的输出，特别是在高风险场景中。这种监督可以捕捉AI可能遗漏的错误，并提供AI缺乏的背景。
5. **教育用户认识AI的能力与局限性**：培训用户了解AI的能力和局限性可以培养对AI输出的健康怀疑态度。鼓励用户核实AI生成的信息可以防止不准确信息的扩散。
5. **教育用户认识AI的能力与局限性**：GuidePoint Security的进攻性安全高级副总裁维克托·维泽科雷克（Victor Wieczorek）解释说：“我们需要实际的护栏。这意味着将AI响应直接与文档政策挂钩，标记或记录高风险输出，并确保在任何重要的事情到达客户之前由人类审查。把模型当作一名新实习生：它可以协助起草思路并处理常规事务，但不应该对任何敏感的事情做出最终决定。”
(以上内容均由Ai生成)
