客座博客 （NCC Group）：驾驭 AI 风险：CISO 的基本网络安全措施
快速阅读: 《科技英国》消息，随着人工智能快速部署，首席信息安全官需警惕新威胁。通过教育员工、注重安全设计、进行威胁建模及数据-代码分割等措施，组织可增强对AI相关风险的防护。持续关注AI安全领域进展至关重要。
行业观点
2025年4月16日 （NCC集团客座博客）：首席信息安全官（CISO）导航人工智能风险：必备的网络安全措施
了解更多如何最好地应对与人工智能相关的风险
随着几乎每个业务领域和应用场景中人工智能（AI）和大型语言模型（LLM）的快速部署，首席信息安全官们有理由感到担忧。任何新技术都伴随着新的威胁，正如公司在开发、测试并演进其AI能力时，攻击者也在做同样的事情。
尽管我们本质上知道AI带来了风险，但具体的威胁向量尚未明确建立，许多是理论上的——我们知道这是可能的，即使我们还没有在现实中看到。由于企业使用AI仍然处于早期阶段，威胁研究和缓解实践仍处于初级阶段。但每天都有组织推出易受攻击的系统，只等待被利用。只需要有人注意到即可。
鉴于这种不确定性，CISO需要意识到潜在威胁及其对组织的影响，并优先在AI使用超出其风险承受能力之前或更糟引发漏洞之前建立韧性。
使用AI时，信任可能会消失的风险
AI与其他新兴技术不同。例如，当你构建一个Web应用程序时，你创建了它，了解它的运作方式并控制它，因此你可以信任它。而另一方面，AI与如此多的数据集、应用程序和用户（包括可信和不可信的）进行交互并运行，即使在其基于最可信组件构建时也可能被操纵以造成破坏。
组织现在才开始认识到这些风险，并且我们注意到一些反复出现的漏洞模式。以下是我们已经看到的一些：
提示包含
在大多数AI实例中，用户提示成为模型的一部分——这是一个许多普通用户不知道的事实。除非明确排除（如微软Copilot的情况），否则提示用于训练LLM，用户应假设这一点，除非被告知其他情况。这意味着如果用户上传专有数据进行分析，它将成为数据集的一部分且无法撤销。基本上不可能提取。这直接关系到“影子AI”的概念，即员工在不知情或未经授权的情况下使用第三方LLM，这种做法已导致严重数据泄露。即使某些模型声称不包含提示，也最好谨慎行事。培训用户这一重要事实是必不可少的指导。
提示注入变体
随着AI用例的增长，妥协的形式也在增加。例如，OWASP称之为“间接提示注入”，当攻击者劫持AI与用户之间的对话时。跨用户提示注入也越来越常见。在这种情况下，恶意行为者不会告诉AI执行恶意操作，而是提示AI对另一个用户的账户执行恶意操作——例如删除它。这是一个巨大的漏洞，由于未能正确隔离潜在威胁行为者提交的数据与AI从可信用户读取的数据。
数据投毒
LLM通过重复模式进行操作，但它们无法区分好模式和坏模式。数据集可能被不良行为者污染，这样只需正确的代码或短语，他们就可以控制模型并引导其执行恶意操作——你的公司可能永远不会知道。这就是微软Tay聊天机器人的情况，它被提示污染后，微软不得不迅速关闭它。
模型提取或反转
在这种攻击中，不良行为者可以通过提示模型来提取你的数据，甚至复制功能或克隆模型本身。这意味着，如果你在敏感数据上训练模型，威胁行为者可以窃取这些数据，即使他们没有直接访问它。因此，基于专有数据训练的模型绝不能暴露给外部方。虽然这种攻击目前还只是学术性的，但在缺乏适当分割的情况下很容易被利用。
数据污染
在类似的情况下，威胁行为者可以利用与不受信任来源实时数据交互的模型，故意污染该数据。这引入了一系列漏洞，其中最轻微的是结果不准确。例如，抓取亚马逊产品评论的LLM可能会被伪造的评论污染，从而歪曲分析和输出。在某些情况下，暴露于恶意数据的LLM代理自身会成为该数据的代理。为了防止这种情况，CISO需要意识到并谨慎对待其LLM暴露的数据。
过度自主性
这是最严重的漏洞之一，当模型被授予用户不应拥有的特权功能时，就会发生这种威胁。这使用户能够操纵模型以提升自己的权限并访问特权功能。
新威胁。相同的基本原理。
由于AI在很大程度上是开源的，任何人都可以学习，我们应该预料到更多此类攻击随着AI采用率飙升。这不需要复杂的国家行为者或具有深厚技术剥削链经验的人。
好消息是，防御AI模型攻击需要CISO多年来一直在利用的基本安全原则，只是有一些新的变化。虽然有一些框架可以指导开发人员——ISO 42001标准化了组织应如何实施AI系统，欧洲刚刚推出了《AI法案》——但这些都不是全面的，也不够广泛适用。
对于那些边摸索边前进的公司，这里有一些最佳实践可以考虑：
教育员工
关于工作场所中即使是随意使用AI的风险。不幸的是，你永远不能完全信任它，他们应该以这种假设来对待每一次互动。
优先考虑安全设计
开发人员需要仔细考虑模型将暴露给谁和什么，以及这如何影响其行为。安全性应从一开始就成为过程的一部分，而不是事后考虑。不要假设模型总是按照你预期的方式运行。
进行威胁建模
就像引入任何新技术一样，对AI工具进行威胁分析。识别模型可以访问的内容，它暴露的内容，以及它打算如何与其他组件或应用程序交互。理解风险、数据流和威胁环境，并实施信任边界。
考虑多方向访问
由于有许多接触点，大多数组织并不清楚全部风险范围。虽然用户A可能没有恶意意图，但用户B可以操纵用户A的帐户来控制模型（横向威胁），或者模型可以被操纵以提升功能或权限（纵向威胁）。当两个模型交叉时——例如文本模型与图像生成模型交互——如果通道未关闭以防止数据相互泄漏给最终用户，则会打开多模式风险。
部署数据-代码分割
每次将ML模型暴露给不受信任的数据时，模型就成为该数据的代理。解决方案是使用“守门人”方法将模型与数据分割开来，防止模型同时访问不受信任的数据和可信功能。
即使基本原理相同，但对于许多CISO来说，时间线已经加速了。快速采用需要在事态完全失控之前采取紧急解决方案。
结论
随着AI的不断发展，与其相关的威胁也会随之演变。CISO必须保持警惕并主动解决这些新漏洞。通过教育员工、优先考虑安全设计、进行彻底的威胁建模、考虑多方向访问以及部署数据-代码分割，组织可以更好地保护自己免受AI带来的风险。与行业专家合作并随时了解AI安全领域的最新发展也将是维持强大安全态势的关键。了解更多请访问 安全人工智能。
返回列表
(以上内容均由Ai生成)
