软件工程师谈 AI 代理的真实状态(他们还没有到达那里)
快速阅读: 据《TechSpot的》称,系统工程师卡纳特认为,2025年实现真正自主AI代理不切实际。他指出,高可靠性、令牌成本及工具设计是主要挑战。AI需在明确边界内运作,人类确保控制与可靠。
据系统工程师乌塔克什·卡纳特在其博客中表示,2025年实现真正自主并能改变劳动力的AI代理这一目标似乎越来越不切实际。卡纳特基于其在多个生产级系统上的丰富经验,指出了实现这一目标面临的几个关键挑战。
卡纳特强调,生产级系统需要至少99.9%的可靠性,而当前的大型语言模型难以达到这一标准。他解释说:“如果每个步骤的可靠性为95%,那么五个步骤的成功率为77%,十个步骤为59%,二十个步骤仅为36%。即使每一步的可靠性提高到99%,二十步的成功率也只有约82%。这不仅仅是技术问题,而是数学事实。”
为了应对累积错误的问题,卡纳特建议将工作流分解为3到5个可独立验证的步骤,每个步骤都有明确的回滚点和人工确认机制。这种设计方法——强调边界清晰的上下文、原子操作以及在关键时刻的可选人工干预——是他构建每一个可靠代理系统的基础。
此外,对话代理中的令牌费用增长也是一个不容忽视的障碍。卡纳特通过自己设计对话数据库代理的经验指出,每次新交互都需要处理完整的先前上下文,导致令牌费用随对话长度呈平方增长。在某些情况下,100次交互的令牌费用可能高达50至100美元,这使得广泛使用在经济上不可持续。
卡纳特提出了一种功能生成代理的设计思路,这种代理保持无状态:输入描述,输出功能——无需维护上下文,无需跟踪对话,也没有失控的成本。“生产环境中最成功的‘代理’根本不是对话式的,”卡纳特说,“它们是智能的、有限的工具,能很好地完成一件事并迅速退出。”
卡纳特还指出了工具设计的重要性。他认为,虽然工具调用已经变得相对精确,但真正的难点在于设计出提供结构化、可操作反馈的工具,同时不会让代理的有限上下文窗口感到不堪重负。例如,一个设计良好的数据库工具应该以紧凑、易消化的格式总结结果,而不是让代理陷入原始输出的海洋。
卡纳特批评那些推广简单“只需连接你的API”解决方案的公司,这些公司往往为人类设计工具,而不是为AI系统设计。因此,尽管代理可以调用API,但由于缺乏结构化的沟通和上下文意识,它们经常无法管理实际的工作流程。
卡纳特指出,企业环境很少为AI代理提供干净的API。遗留约束、波动的速率限制和严格的合规要求都构成了重大障碍。他的数据库代理包含了传统的工程特性,如连接池、事务回滚、查询超时和详细的审计日志,这些远远超出了AI的范围。
卡纳特认为,许多公司承诺的完全自主、全栈代理未能面对这些现实情况。他认为真正的挑战不是AI能力,而是集成——而这正是大多数代理失败的地方。
卡纳特成功代理的共同做法是:AI在明确的边界内管理复杂性,而人类或确定性系统确保控制和可靠性。他的UI生成代理创建React组件,但在部署前需要人工审查。DevOps自动化生成Terraform代码,经过审查、版本控制和回滚。CI/CD代理包含定义的成功标准和回滚程序,数据库代理在执行破坏性命令前进行确认。
展望未来,卡纳特预测,追逐完全自主代理的风投初创公司将因经济约束和累积错误而挣扎。同时,试图将AI与遗留软件整合的企业将面临采用障碍,因为复杂的集成问题。他认为,最成功的团队将专注于创建专门的、领域导向的工具,将AI应用于复杂任务,但保留人工监督或严格的运营限制。
卡纳特还警告说,许多公司将面临从令人印象深刻的表现到可靠、市场-ready产品之间的陡峭学习曲线。
(以上内容均由Ai生成)