AI安全公司Irregular获8000万美元融资，领跑模型风险评估

快速阅读: 专注于AI安全评估的公司Irregular完成8000万美元融资，估值4.5亿美元。公司开发的SOLVE框架广泛用于模型安全评估，新融资目标是在风险出现前预防。

随着人工智能模型能力快速提升,AI安全问题日益凸显。周三,专注于AI安全评估的公司Irregular宣布完成8000万美元新一轮融资,由红杉资本和红点创投领投,网络安全公司Wiz首席执行官阿萨夫·拉帕波特也参与投资。知情人士透露,此轮融资对Irregular的估值达到4.5亿美元。

前瞻性安全防护理念 “我们的观点是,很快,大量的经济活动将来自人与人工智能的互动以及人工智能与人工智能的互动,这将在多个方面打破安全体系,”联合创始人丹·拉哈夫告诉TechCrunch。这一判断反映了Irregular对AI时代安全挑战的深刻洞察。

Irregular前身为Pattern Labs,现已成为AI评估领域的重要参与者。该公司的研究成果被广泛应用于业界 顶级 模型的安全评估,包括Claude3.7Sonnet以及OpenAI的o3和o4-mini模型。更值得关注的是,该公司开发的模型漏洞检测评估框架SOLVE已在行业内获得广泛应用。

创新模拟环境技术 虽然Irregular在现有模型风险评估方面已有丰富积累,但此次融资的核心目标更加宏伟:在风险和危险行为真正出现之前就能预先发现并防范。公司构建了一套精密的模拟环境系统,能够在模型发布前进行密集测试。

“我们拥有复杂的网络模拟环境,其中AI既扮演攻击者角色,也扮演防御者角色,”联合创始人奥默·内沃解释道,”当新模型推出时,我们就能提前知道哪些防御措施有效,哪些无效。” 行业安全意识觉醒 随着前沿AI模型潜在风险日益凸显,安全已成为整个AI行业的核心关切。OpenAI今年夏天全面改革其内部安全措施,以防范潜在的商业间谍活动,体现了头部公司对安全问题的重视程度。

同时,AI模型在发现软件漏洞方面的能力不断增强,这对攻击者和防御者都带来了严重影响。对于Irregular的创始人而言,这只是大型语言模型不断增强功能所引发的众多安全挑战中的 第一 个。

安全与能力的赛跑 “如果前沿实验室的目标是创造出越来越复杂、越来越强大的模型,那么我们的目标就是确保这些模型的安全,”拉哈夫表示,”但这是一个不断变化的目标,所以未来必然还有很多工作要做。” 这一表态清楚地勾勒出了AI安全领域的本质挑战:这是一场AI能力提升与安全防护之间的持续竞赛,需要前瞻性的技术创新和持续投入。

(以上内容均由Ai生成)