AI 安全代理应对 AI 生成的代码风险

快速阅读: 据《新堆栈》最新报道，Endor Labs推出人工智能安全代理，保护基于AI的编码免受风险。通过分析数百万开源项目和模型，平台能识别并修复潜在安全问题，助力企业加速AI应用进程。近日完成9300万美元B轮融资，计划扩大团队规模提升产品能力。

人工智能、人工智能代理与安全
人工智能安全代理对抗人工智能生成代码的风险

人工智能、人工智能代理与安全
首席执行官表示，三年来专注于构建依赖关系映射和调用图，使Endor Labs能够更好地保障基于人工智能的编码。

2025年4月24日上午11点，由杰弗里·伯特报道
图片来自Unsplash+。

Endor Labs成立于2022年，当时软件工程实践正在发生变化，80%-90%的代码是开源的，致力于解决棘手的应用程序安全性问题。组织在适应向开源编码转变的过程中遇到困难，扫描工具向开发人员发送了大量警报，但开发人员发现大多数警报都是错误或误报。

根据联合创始人兼首席执行官瓦鲁纳·巴德瓦尔的说法，Endor Labs深入参与其中，旨在帮助企业加速其应用程序安全实践，而不给开发人员增加额外负担。这家位于加利福尼亚州帕洛阿尔托的初创公司采用了一种新颖的方法应对这一挑战，为应用程序构建了一个全局调用图。

通过这项技术，Endor Labs能够理解所有的代码行，包括包依赖项、使用的库和未使用的库，以及每个库将调用的库。

“我们可以通过静态分析跟踪整个应用程序的图形，而不是在运行时，”巴德瓦尔告诉The New Stack，这使得公司能够将警报数量减少了92%。“很快，我们就从‘这是绝望的局面’转变为‘现在我公司只有一个工程师可以处理这个积压的警报’。”

创建图形并绘制众多开源代码依赖项的所有工作使Endor Labs处于应对软件开发下一个重大变化的位置：在编码中使用人工智能和‘氛围编码’的兴起。如果今天80%或更多的代码来自开源，那么很快就会转向80%由人工智能生成，该公司表示。

用人工智能保护人工智能

为此，本周Endor Labs正在扩展其应用程序安全平台，以应对快速迁移到基于人工智能的编码，提供人工智能安全代码审查，这是一种代理人工智能功能，用于识别风险、优先级排序、推荐修复方案并自动应用修复。

“当开发人员生成此软件时，我们将其视为安全架构师和应用程序安全从业者，以进行推理并理解不仅是有已知漏洞——合规世界总是关注这一点——‘让我们看看CEE（通用执行环境）和CWE（常见弱点枚举）’，还要查看所生产软件的根本架构问题，”他说。

这包括检查人工智能生成的代码是否暴露了未正确保护的API，或者确保推送个人身份信息(PII)的新数据库模式正确加密和保护。

“我们试图提供这种平衡，以基本对抗人工智能驱动的代码与人工智能驱动的安全代码审查，”巴德瓦尔说。

这很有道理。开发人员正在拥抱人工智能，以提高他们的生产力，并尽快构建和推出软件。

GitHub在2024年发现，接受调查的97%的程序员表示他们在某个时候使用过人工智能编码工具。

Stack Overflow也看到了类似的热情。去年对65,437名程序员的调查显示，76%的人表示他们正在使用或将要使用此类工具。

它带来了安全风险，从模型盗窃到数据泄露，再到最近被称为‘垃圾 squatting’的现象。

Endor Labs并不是唯一一家进行人工智能到保护人工智能的厂商。今年1月份，Semgrep在其一篇博客文章中描述了其基于人工智能的自动分诊技术如何使用大型语言模型(LLMs)和检索增强生成(RAG)来帮助其Semgrep助手以96%的准确率对编码中的安全漏洞进行分诊。

“换句话说：助手很少错过真正的阳性结果，因此安全团队可以放心地使用助手来过滤掉不可利用的发现（并告诉开发人员只有在他们的代码确实存在问题时才会收到警报），”Semgrep的工作人员产品经理杰克·莫克森和旧金山公司的软件工程师塞斯·雅基斯克写道。

Endor Labs的不同之处在于其技术背后的数据，首席执行官说，该公司在过去三年中一直在积累这些数据。

该公司分析了450万个开源项目和人工智能模型，为每个项目映射了超过150个风险因素，构建了索引数十亿函数和库的调用图，并详细列出了已知安全漏洞的确切行号。

开源代码与人工智能代码之间的联系尽管深度依赖开源，但这类数据对于应对基于AI的编码至关重要。“正如你今天所看到的，越来越多的代码是由世界各地的Cursors和Copilots编写的，但有一个基本事实：这些Copilots并不编写全新软件，”CEO表示，“它们编写的软件是基于它们所接受的训练和学习的内容，而这基本上都是开源软件。无论选择哪个供应商，所有这些模型都基于开源软件进行训练。”

Endor Labs扩展的平台现在包含专门针对应用安全的AI代理，这些代理在审查代码时能够像开发人员和架构师一样对代码进行推理，识别风险并推荐修复方案，就像安全团队所做的那样。首个基于代理的AI功能是安全代码审查——该功能将于五月推出，使用多个代理来审查影响企业安全态势的架构变更的拉取请求，而这些变更可能无法被静态应用程序安全测试（SAST）和漏洞扫描工具检测到。变更包括添加容易受到提示注入攻击的系统——即恶意行为者操纵提示以使AI模型超出其安全策略的行为——或者公开的API端点、加密工具或授权流程的变化，以及敏感数据处理方式的修改。

Endor Labs还推出了MCP服务器以应对诸如vibe编码等变化，其中开发人员在编码时依靠直觉，从而加快了开发速度。该插件帮助解决在使用像Cursor和GitHub Copilot这样的AI原生工具时出现的安全问题。“这是vibe编码的时代，在这个时代里，AI编码助手生成大量代码，而开发者的监督或审查却很少，”Endor Labs的产品副总裁阿蒙德·古普塔和联合创始人兼首席技术官迪米特里·斯蒂利亚迪斯在一篇博客文章中写道。“开发者越来越信任他们的AI助手，通常会接受建议而很少进行修改。这快速、高效且具有变革性——但也存在风险。”

MCP服务器的存在就是为了降低这种风险，巴德瓦尔说。“它本质上是在代码生成过程中与Cursor和Copilots进行推理，并与其交互，帮助其编写更安全的代码，同时在创建拉取请求之前就标记出问题，提前发现问题，并告诉它‘这里是你推荐代码中的问题’并不断迭代，”他说。

MCP插件还将推荐修复安全问题的不同路径。“这种互动过程在未来将非常有价值，因为如果你不能从一开始就防止这些问题的发生，如果你认为过去十年积累的大量CVE和安全问题已经成了一个烂摊子，那么情况将会变得更糟五倍，”这位CEO表示。

9300万美元的资金注入

随着Endor Labs推进这一计划，它获得了由DFJ Growth领投的9300万美元B轮融资，Salesforce Ventures参与其中。现有投资者，如Lightspeed Venture Partners、Coatue、Dell Technologies Capital、Section 32和Citi Ventures也参与了投资。公司于2023年8月宣布已完成了7000万美元的A轮融资。

巴德瓦尔表示，这笔资金将用于继续开发产品并招募更多员工，计划今年将超过140人的员工队伍扩大50%。

Endor Labs的高管们也在谨慎关注宏观经济形势，CEO指出，即使是顶级经济学家也无法确定世界是否会陷入衰退或货币是否会持续贬值。“拥有资本让我们处于一个强有力的地位，可以大胆下注我们想要的项目，而不必牺牲产品质量或我们的愿景，成为全球最好的……安全公司，”他补充道，指出公司在过去18个月内年度经常性收入（ARR）增长了30倍，净收入留存率（NRR）达到166%。

Endor Labs的古普塔和斯蒂利亚迪斯在他们的博客中写道，更多内容即将推出。“MCP服务器和AI安全代码审查的发布代表了我们为保障AI原生软件开发未来的第一阶段愿景，”他们写道。“我们的路线图包括计划在未来几个月内发布的其他功能，所有这些功能都旨在为安全团队提供可操作的情报和自动化修复工具。”

杰弗里·伯特是一名从业超过三十年的记者，过去二十多年一直专注于科技报道。在为eWEEK工作超过16年后，又以自由科技记者的身份继续工作，他报道了从数据到其他众多领域的各种内容……

更多关于杰弗里·伯特的文章