PromptArmor 保护律师免受 GenAI 供应商安全风险

快速阅读: 《人工律师》消息，普罗米亚德专注AI安全风险检测，尤其针对“间接提示注入”等隐患，服务法律、医疗等领域。其自动化扫描技术帮助企业评估AI供应商风险，弥补创新与安全间的差距。律师行业对此需求明显，但具体影响及成本尚待观察。

普罗米亚德是一家总部位于加州的初创企业，专注于测试生成式人工智能供应商的安全风险，包括“间接提示注入”以及总计26种风险向量。其业务重心在法律、医疗等重要领域。《人工智能法律》杂志对其进行了专访。

旧金山籍联合创始人尚卡尔·克里斯南在接受采访时说：“假如一家律师事务所需要评估某家AI供应商，他们会把这项任务交给我们。我们会提供一份详尽的供应商AI组件风险报告。我们通过检测这些供应商是否存在诸如‘间接提示注入’等隐患来完成这项工作，这是一种针对大型语言模型（LLM）应用的新安全风险。”

“我们检查了26个风险向量，所有这些都与领先的网络安全框架相对应，比如‘OWASP LLM前十名’、‘MITRE ATLAS’、‘NIST AI RMF’等。我们的专长在于我们的技术，它实现了对这些LLM应用的扫描流程自动化。”

此前，我们未曾听说过NIST AI RMF……不过，“提示注入”这个词已在法律科技圈内流传开来。所以，为了让您更好地理解他们的工作内容，这里引用去年英国阿兰·图灵研究所的一份声明：

“提示注入是针对最先进的生成式人工智能模型面临的最紧迫问题之一。”

英国国家网络安全部门已将其列为关键风险，而美国国家标准与技术研究院将其描述为‘生成式人工智能最大的安全漏洞’。

简而言之，当攻击者通过精心设计的输入操控大型语言模型（LLM），使其执行攻击者的意图时，就会发生提示注入，正如开放全球应用程序安全项目所说。这可能导致系统决策被操控、向用户传播虚假信息、敏感信息泄露、实施复杂的网络钓鱼攻击和执行恶意代码。

间接提示注入则是指通过隐藏指令在生成式AI系统的数据源中插入恶意信息，例如访问的传入电子邮件或保存的文档。与直接提示注入不同，它无需直接接触生成式AI系统，而是对生成式AI系统使用的各种数据源构成风险。

因此，这就是重点，非常严重的问题，也是普罗米亚德覆盖的一个方面。当然，这样的漏洞是否会在法律科技产品中出现？可能性有多大？简单来说，我们不知道。为什么我们不知道？因为据我们所知，从未有人公开发布过相关事件清单，其中包含知名的法律AI工具。该公司得到了Y Combinator等机构的支持，补充说他们在提供什么方面，提供“持续监控”，并且已经有一些律师事务所“将他们所有的供应商库发送给我们”。

“我们监控这些供应商是否有新增加的AI功能，或者他们是否首次采用AI，”克里斯南说。并且，作为一个可能引起许多公司兴趣的例子，他们还提到：“我们还会检测隐私政策变更或条款变更（例如，他们现在正在使用你的数据进行训练）、模型变更（例如，他们从Anthropic更换到OpenAI）以及其他相关新闻。”

好吧，一切都很好。但正如上面提到的，《人工智能法律》必须问：律师事务所需要这个吗？这是律师事务所需要考虑的问题吗？克里斯南强调确实如此。

“律师事务所需要这个是因为他们的创新团队正在引入AI供应商。安全团队没有足够的AI专业知识来评估这些供应商的新型AI安全风险，因此很多供应商卡在概念验证阶段，或者审查时间更长。

“安全团队还有许多其他事情要做。我们帮助安全团队更高效地评估AI供应商，这样创新团队可以更快地引进它们，达成双赢局面。律师事务所中创新和安全之间的差距已被广泛记录，我们认为自己正在弥合这一差距。”

好吧，就是这样。但是，现在成本如何呢？克里斯南指出：“成本是分层的，基于供应商的数量，并且如果我们提供评估、持续监控或两者兼有，我们可以给予折扣。”

如前所述，这对律师事务所来说是一个大问题吗？很难估计。那些知名的产品是否因为这种新的AI方法而存在潜在的安全漏洞？简单来说，我们真的不知道。那些不为人知的产品和公司是否面临相同或更大的风险？同样，我们不知道。鉴于大多数律师事务所都非常谨慎，那么也许——就像生成式AI性能标准一样——我们需要就这些问题进行公开讨论。也许这是一个可以快速理解和解决的问题。但现在可能是解决这些问题的好时机，因为越来越多的产品进入了律师事务所的技术栈。

你可以在这里找到更多关于普罗米亚德的信息。

——你对这个领域有什么看法和经验？由于上述风险，你是否停止使用某个生成式AI供应商？你是否对此进行过测试？分享：推特电子邮件

(以上内容均由Ai生成)