AI数据中毒与影子AI：企业面临的新安全挑战

快速阅读: IO研究显示，过去一年英美26%企业遭遇AI数据中毒，攻击者通过污染数据影响AI决策准确性，损害企业声誉。37%企业存在员工擅自使用未授权AI工具的“影子AI”问题，呼吁加强AI治理。

据IO（原ISMS在线）——一家合规与信息安全平台的新研究显示，人工智能虽有望革新商业，但对许多企业而言，这项技术同时也成为了一种负担。过去一年，英美两国中有四分之一的企业（26%）遭遇了AI数据中毒事件，表明攻击者正瞄准支撑AI系统的数据，通过微妙地破坏训练集、破坏模型或植入隐蔽的后门来实施攻击。

IO首席产品官Sam Peters解释说：“传统的黑客技术依然适用，但目标不同了。攻击者不再是窃取和泄露数据，而是污染数据。”他进一步指出，“这样一来，AI为企业做出的决策变得不准确，比如批准了本应被标记的交易，或者承保了不应承担的风险。”Peters警告称，这类攻击可能对企业的声誉造成毁灭性打击，并且常常成为勒索的前奏。“这可能是出于混乱而制造混乱，也可能是为后续索要赎金做准备。”他补充道。

报告还指出了日益严重的“影子AI”问题——员工未经许可使用未授权的AI工具。超过三分之一的企业（37%）承认，员工已经开始未经授权使用生成式AI，这一现象类似于长期存在的影子IT问题。“大多数情况下，员工的动机是善意的，他们希望提高工作效率。但如果企业在未提供AI工具的情况下，员工会自行寻找解决方案。危险在于，当客户数据或机密信息被粘贴到公共聊天机器人中时，我们无法预测这些信息接下来会发生什么。”Peters解释道。

IO首席执行官Chris Newton-Smith认为，这是对IT领导者的警示。“约有三分之一的受访者将影子AI视为严重关切的问题。解决之道不是简单地说‘不使用AI’，而是实施治理。这意味着要研究数据处理方式，确保正确的许可到位，并向员工明确哪些行为是可以接受的，哪些是不可以的。”

Newton-Smith指出，新创建的ISO 42001标准为企业负责任地管理AI提供了重要框架。“这不是为了创建繁重的官僚体系，而是为了给组织提供成功使用AI的框架，无论是第三方工具还是自建系统。”他强调。

IO对英美两国超过3000名安全领导者的调查显示，许多公司在拥抱AI技术时行动过快。超过半数（54%）的受访者承认，他们在部署AI方面过于仓促，现在正努力确保其安全或负责任地缩减规模。

Peters提到，常见的预警信号是员工在不了解如何有效使用AI工具的情况下就被赋予了这些工具。“如果员工只是输入一行提示就期望获得理想的结果，那么他们不会得到价值。更糟糕的是，他们可能会为了改善结果而添加敏感数据，却未考虑到后果。这时，你就知道采用速度已经超过了理解速度。”Newton-Smith赞同治理缺口正在显现的观点。“一些最有价值的应用案例来自对企业自身数据的培训。但这需要强大的监督——否则，你就是在不安全的基础上构建有用的服务。”

所有权问题也不容忽视。Peters警告不要假设AI只属于IT部门。“如果营销团队或客户服务团队是AI的主要使用者，他们也需要参与治理对话。否则，就会出现错位和盲点。”供应链和深度伪造也是潜在威胁。Peters认为，供应链尤其脆弱。“三分之一的企业表示，过去一年中发生了与第三方相关的事件——超过四分之一的企业多次遇到这种情况。这使得供应商生态系统成为CISO面临的一大风险区域。”

此外，深度伪造和身份冒充也是新兴威胁。五分之一的企业（20%）在过去12个月内经历了深度伪造或克隆事件，近三成（28%）的企业预计虚拟会议中的身份冒充将在未来一年增加。尽管80%的企业声称已具备一定程度的准备，但Newton-Smith警告，威胁正在迅速演变。

令人担忧的是，报告发现，52%的企业认为AI和机器学习目前阻碍了他们的安全工作，因为攻击者利用新漏洞的速度比防御者适应的速度更快。

彼得斯认为，人工智能在适当利用时可以增强韧性。“我们看到人工智能被用于渗透测试，通过环境迭代并以人类无法达到的速度突出风险概况。如果黑客使用人工智能，防御者也需要使用它——这可以平衡局势。”

牛顿-史密斯补充说，挑战不在于技术本身，而在于速度。“真正的问题是跟上快速变化的步伐——以及应对遗留系统。这是攻击者的优势所在。”

展望未来，彼得斯指出了所谓的“氛围编码”带来的危险——即使用低代码或无代码平台快速推出产品。“机会在于速度和可访问性，但风险在于推出不符合商业客户所需韧性的产品，”他说，“攻击者已经在使用人工智能工具来识别这些匆忙构建系统中的漏洞。”

他坚持认为，答案在于网络安全意识的成熟。“企业需要组建不仅懂得如何构建，还懂得如何保护的团队。否则，氛围编码就会变成氛围攻击。”

对于牛顿-史密斯和彼得斯而言，解决方案在于治理。“就像建筑一样，”牛顿-史密斯说，“你不会先建好大楼再考虑消防系统——安全必须从一开始就设计进去。人工智能也应如此对待。”

这就是为什么IO认为ISO 42001对于企业和供应商都至关重要。“去年只有1%的组织要求供应商遵守ISO 42001，”牛顿-史密斯指出，“今年这一比例已升至28%。这表明人们开始将AI治理视为安全开展业务的基本要求。”

随着96%的受访者计划投资生成式人工智能驱动的威胁检测，95%的人承诺在未来一年内实施AI治理，该报告表明企业正在从早期失误中吸取教训。

现在面临的挑战是确保安全能够跟上创新的步伐——在下一波人工智能驱动的攻击使这种平衡更加难以维持之前。

(以上内容均由Ai生成)