AI安全实验室Irregular获8000万美元融资,强化前沿模型防护
快速阅读: 人工智能安全实验室Irregular宣布筹集8000万美元,将用于构建防御系统和安全工具,确保AI模型的安全性。该公司与全球领先AI实验室和政府机构合作,测试模型并提供防御解决方案,参与制定行业标准。
人工智能安全实验室初创公司Irregular今日宣布,已筹集8000万美元的新资金,用于构建其防御系统、测试基础设施和安全工具,以帮助验证并强化下一代AI模型的安全部署。该公司成立于2023年,前身名为Pattern Labs Inc.,自称为全球首个前沿AI安全实验室,致力于在高级AI系统被滥用之前确保其安全性。其使命是通过对抗性和红队环境测试、加固和保护下一代AI模型,与全球领先的AI开发者合作。
Irregular运行受控模拟,测试尖端AI模型可能被利用的方式。这些模拟探索了威胁情景,如反病毒规避、自主攻击行为、系统渗透或其他滥用途径,评估AI模型发起攻击的能力及其在遭受反击时的韧性。除了测试外,Irregular还提供防御工具、框架和评分系统,指导AI系统的实际安全措施。
Irregular与领先的AI实验室和政府机构合作,将其测试工作融入主要前沿模型的生命周期中。这种合作使公司能够“预见未来”,在威胁实际出现前预测并提出应对策略,为安全路线图、合规性和部署政策提供建议。目前,Irregular正在参与制定行业标准。其评估结果被引用在OpenAI的GPT-4、o3、o4 mini和GPT-5系统卡片中,英国政府和Anthropic PBC使用Irregular的SOLVE框架来审查Claude 4的网络风险。此外,Google DeepMind的研究人员最近在一篇关于评估新兴AI网络攻击能力的论文中也引用了该公司。
Irregular与Anthropic共同撰写了一篇白皮书,提出了使用机密计算技术增强AI模型权重和用户数据隐私安全性的新方法。该公司还与RAND公司联合发表了一篇具有开创性的论文,讨论AI模型盗窃和滥用问题,有助于塑造欧洲关于AI安全的政策讨论,并为该领域设定基准。
Irregular的联合创始人兼首席执行官Dan Lahav表示:“Irregular承担了一个雄心勃勃的使命,确保AI的未来既强大又安全。AI能力的发展速度惊人,我们正在构建工具,在这些最先进系统公开发布前进行测试,并创建缓解措施,以负责任地大规模部署AI。”
此次融资由Sequoia Capital Operations和Redpoint Ventures LP领投,Swish Ventures及多位知名天使投资者,包括Wiz Inc.首席执行官Assaf Rappaport和E.ON SE首席执行官Ofir Ehrlich也参与其中。Sequoia Capital的合伙人Shaun Maguire评论道:“真正的AI安全威胁尚未出现。Irregular团队引人注目的是他们超前的思考。他们正在与今天正在开发的最先进模型合作,为未来如何确保AI的可靠性奠定基础。”
(以上内容均由Ai生成)