AI安全公司Irregular获8000万美元融资,聚焦前沿模型安全
快速阅读: AI安全公司Irregular获8000万美元融资,估值4.5亿美元。公司将利用资金开发复杂模拟环境,提前发现AI模型潜在风险,增强安全评估能力。
周三,AI安全公司Irregular宣布获得由红杉资本和红点创投领投的8000万美元新融资,Wiz首席执行官Assaf Rappaport也参与了本轮投资。据知情人士透露,此轮融资对Irregular的估值为4.5亿美元。
“我们认为,未来大量的经济活动将来自人机互动和机器间互动,”联合创始人Dan Lahav在接受TechCrunch采访时说,“这将从多个方面打破安全体系。”
此前名为Pattern Labs的Irregular已成为AI评估领域的重要参与者。该公司的研究被引用在Claude 3.7 Sonnet以及OpenAI的o3和o4-mini模型的安全评估中。更广泛地,该公司用于评估模型漏洞检测能力的框架(称为SOLVE)在业内得到广泛应用。
尽管Irregular在现有模型风险方面做了大量工作,但此次融资的目标更加雄心勃勃:在这些风险和行为出现在实际环境中之前就发现它们。为此,公司构建了一个复杂的模拟环境系统,能够在模型发布前进行密集测试。
“我们有复杂的网络模拟,在这些模拟中,AI既扮演攻击者也扮演防御者,”联合创始人Omer Nevo说,“因此当新模型推出时,我们可以看到哪些地方的防御有效,哪些地方不有效。”
随着前沿模型带来的潜在风险日益增加,安全性已成为AI行业关注的重点。今年夏天,OpenAI对其内部安全措施进行了全面改革,以防范可能的企业间谍活动。
同时,AI模型在发现软件漏洞方面越来越擅长,这对攻击者和防御者都有重要影响。
对于Irregular的创始人来说,这只是大型语言模型日益增长的能力引发的一系列安全问题中的第一个。
“如果前沿实验室的目标是创建越来越复杂和强大的模型,我们的目标就是保护这些模型,”Lahav说,“但这是一场不断变化的战斗,因此未来还有许多工作要做。”
(以上内容均由Ai生成)