企业AI代理部署频遇灾难，零日治理成关键挑战

快速阅读: 企业尝试AI代理频遇灾难，主要因治理问题。Rubrik推出Agent Rewind，检查并撤销不当更改。零日问题成最大障碍，需与CISO合作解决。FOMO推升企业加速迭代技术。

尤伊奇罗·奇诺/通过盖蒂图片社

关注ZDNET：

将我们设为谷歌的首选来源。

ZDNET要点

公司尝试使用AI代理已经引发了一系列灾难。

零日问题主要是治理问题。

FOMO（错失恐惧症）将推动公司在未来一年内加速迭代代理技术。

尽管人工智能代理目前非常流行，但在企业计算领域，初步尝试构建和部署这些技术时却遭遇了诸多灾难。了解这些灾难发生的原因及如何预防，需要大量的规划，这被一些人称为零日审议。

“可能有数百个AI代理代表用户执行操作，不可避免地，代理会犯错误，”数据保护供应商Rubrik的首席产品官安妮卡·古普塔表示。“这些AI治理委员会通常会成为这些项目无法从原型阶段过渡到生产阶段的主要障碍，”古普塔补充道。“这是你必须首先克服的第一个难关。”

古普塔提到了最近几起引人注目的代理AI技术灾难案例。例如，7月份，AI编码工具Replit在执行代码生成任务时，意外删除了公司的整个代码库。

古普塔称Replit的事件是一个“善意”自动化的例子。Replit系统试图为用户完成一项代码生成任务，结果却删除了一切。“它试图实现目标，并选择了最短路径来达成这一目标，”她解释说，“而这正是代理程序被设计的目的。”

尽管Replit和其他公司承诺修复代理程序的问题，但古普塔认为：“随着组织内部代理数量的增加，这类‘善意’事故只会更加频繁。”

古普塔所在的公司Rubrik开发了工具来缓解此类事件。Rubrik在数据保护市场已有十多年历史，提供工具可以在勒索软件攻击后将系统回滚到上一次“已知良好状态”。今年8月，该公司推出了一款名为Agent Rewind的新产品，旨在首先检查代理程序所做的更改，评估这些更改是否正确，如果不正确，则撤销更改。

零日问题

古普塔讨论的不仅仅是产品推广。她认为，解决“善意”灾难并不是最大的代理问题。更大的问题是，由于零日问题，代理AI的发展并没有像预期那样顺利推进。

“Agent Rewind是第二天的问题，”古普塔说。“我们如何解决这些零日问题，以加快人们的步伐——因为他们现在陷入了困境。”

零日问题通常在网络安全领域指代那些在应用程序投入服务后才显现的安全漏洞。确实，网络安全公司已经警告说，企业尚未准备好应对恶意代理AI可能带来的混乱。

然而，古普塔使用了不同的定义，指的是在创建任何AI代理之前必须进行的所有审议工作。据古普塔介绍，代理部署的真正问题是从首席信息安全官（CISO）、首席信息官（CIO）及其他高级管理层开始，确定代理的范围。

AI代理通常被定义为被授予访问大型语言模型外部资源权限的人工智能程序，从而能够执行更广泛的操作。这可能包括像ChatGPT这样的聊天机器人通过“检索增强生成”（RAG）方法访问企业数据库。

古普塔坚持认为，数据质量和可用性固然重要，但它们并不是零日问题。“我听人们说，因为我们的数据一开始就一团糟，所以我们需要花几年时间来调整，”古普塔说。“数据是一个问题，但它是一天或两天的问题。”

真正的零日障碍在于理解代理应该做什么，以及如何衡量成功或失败的标准。

“零日问题就是解决治理挑战，”她说，“比如，这些数据能否合规地暴露给代理。”

CISO希望知道你赋予代理访问的数据是什么，以及围绕这些数据的控制措施是什么。

“如果你对环境中运行的代理缺乏可见性，以及它们访问的数据和应用程序，这将是一个零日问题。”她说，“这会让首席信息安全官夜不能寐，他们会说，‘你不能使用我们最有价值的数据，只能使用一个子集。’”

古普塔表示，使用数据子集是次优选择，因为“你不会有实际想要用于这些新应用程序的正确数据”。