提高代理可靠性的新方法 AgentSpec 强制代理遵循规则
快速阅读: 据《VentureBeat 公司》称，研究团队推出AgentSpec系统，旨在提高基于大语言模型（LLM）的AI代理可靠性。AgentSpec通过定义触发器、条件和强制机制来限制代理操作范围。测试显示，该系统显著减少了不安全行为，并适用于多种框架。专家认为，随着自主代理的普及，类似工具的需求将持续增长。
订阅我们的每日和每周简报，获取行业领先的人工智能报道的最新动态和独家内容。点击了解更多信息。
人工智能代理存在安全性与可靠性问题。尽管这些代理能够帮助企业自动化更多的工作流程步骤，但在执行任务时可能会采取意想不到的行动，不够灵活且难以控制。组织已对不可靠的代理发出警告，担心一旦部署，代理可能会忘记遵循指令。甚至承认要确保代理可靠性，需要与外部开发人员合作，因此它开放了其代理软件开发工具包（SDK）以帮助解决这个问题。然而，新加坡管理大学（SMU）的研究人员已经开发出一种新的方法来解决代理可靠性问题。
**AgentSpec** 是一种特定领域的框架系统，允许用户“定义包含触发器、谓词和强制机制的结构化规则”。研究人员表示，AgentSpec 将使代理仅在用户希望的参数范围内工作。
用新方法引导基于LLM的代理
**AgentSpec** 并不是一个新的大型语言模型（LLM），而是一种引导基于LLM的AI代理的方法。研究人员相信，AgentSpec 不仅可以在企业环境中用于代理，还可以用于自动驾驶应用程序。
第一个集成在LangChain框架上的AgentSpec测试显示，但研究人员表示他们设计它是框架无关的，这意味着它也可以在AutoGen和Apollo等生态系统上运行。使用AgentSpec的实验表明，它防止了“超过90%的不安全代码执行，确保了在自动驾驶违规场景下的完全合规性，消除了具身代理任务中的危险行为，并以毫秒级的开销运行。”
使用OpenAI的o1生成的AgentSpec规则也表现出色，强制执行了87%的高风险代码，并在8个场景中的5个中防止了违法行为。
当前方法略显不足
**AgentSpec** 并不是唯一帮助开发者为代理带来更多控制和可靠性的方法。其中一些方法包括ToolEmu和GuardAgent。初创公司Galileo推出了确保代理按预期工作的解决方案，这是一种确保代理按预期工作的方法。开源平台H2O.ai 利用预测模型使金融、医疗、电信和政府公司的代理更加准确。
研究AgentSpec的研究人员表示，当前缓解风险的方法（如ToolEmu）有效地识别风险。他们指出，“这些方法缺乏可解释性，没有提供安全强制机制，使其容易受到对抗性操纵。”
使用AgentSpec
**AgentSpec** 作为代理的运行时强制层工作。它拦截代理在执行任务时的行为，并添加由人类定义或由提示生成的安全规则。由于**AgentSpec**是一种定制的领域特定语言，用户需要定义安全规则。这有三个组成部分：首先是触发器，确定何时激活规则；其次是检查条件并强制执行如果违反规则应采取的操作。
虽然如前所述，**AgentSpec**是基于LangChain构建的，但研究人员表示，**AgentSpec**也可以集成到其他框架中，例如AutoGen或自动驾驶汽车软件堆栈Apollo。这些框架通过接收用户输入、制定执行计划、观察结果并判断操作是否完成，如果不完成则计划下一步骤来协调代理需要采取的步骤。**AgentSpec**将规则强制执行添加到这个流程中。
“在执行操作前（AgentAction），**AgentSpec**评估预定义的约束以确保合规性，必要时调整代理行为。具体而言，**AgentSpec**在三个关键决策点插入：在执行操作前（AgentAction）、在操作产生观察结果后（AgentStep），以及当代理完成任务时（AgentFinish）。这些点提供了一种结构化的方式进行干预而不改变代理的核心逻辑，”论文中写道。
更可靠的代理
像**AgentSpec**这样的方法凸显了企业在使用代理时对可靠性的需求。随着组织开始制定代理战略，技术决策者也在探索确保可靠性的方法。对于许多人来说，代理最终将自主地和主动地为用户提供任务。环境代理的概念，即AI代理和应用程序在后台持续运行并触发自身执行操作，将需要不偏离路径并且不会意外引入非安全操作的代理。如果环境代理是未来代理AI的发展方向，预计会有更多类似**AgentSpec**的方法出现，因为公司寻求使AI代理持续可靠。
对于许多人来说，代理最终将自主地和主动地为用户提供任务。环境代理的概念，即AI代理和应用程序在后台持续运行并触发自身执行操作，将需要不偏离路径并且不会意外引入非安全操作的代理。
**VB每日商业用例洞察**
如果你想给上司留下深刻印象，**VB每日**可以帮你实现。我们为你提供公司如何使用生成式AI的内部信息，从监管变化到实际部署，以便你能分享见解以获得最大收益。立即订阅阅读我们的隐私政策，感谢订阅。查看更多VB新闻通讯。发生错误。
(以上内容均由Ai生成)
