国内首个AI大模型众测结果出炉！发现281个安全漏洞，未来治理刻不容缓

快速阅读: 第22届中国网络安全年会上首次公布AI大模型众测结果，559名白帽专家测试15款产品，发现281个安全漏洞，大模型特有漏洞占60%以上，显示AI面临新兴安全风险。腾讯、百度、阿里产品表现较好。官方提出四项治理要求，强调未来防护措施。

在第22届中国网络安全年会(暨国家网络安全宣传周网络安全协同防御分论坛)上,国内 首次 针对AI大模型的众测结果揭晓。此次活动由中央网信办网络安全协调局指导,国家计算机网络应急技术处理协调中心主办,吸引了559名白帽子安全专家参与,对15款AI大模型和应用产品进行了全面的安全漏洞测试。

这项测试涵盖了从基础大模型到智能体和模型开发平台等多种产品,旨在从攻击者的角度发掘潜在的安全隐患。结果显示,共发现各类安全漏洞高达281个,其中大模型特有漏洞就有177个,比例超过60%。这说明,AI 大模型在安全性方面面临着传统安全领域之外的许多新兴风险。

测试中揭示的典型漏洞风险包括:部分产品存在严重的输出不当漏洞,信息泄露类漏洞频发,提示注入类漏洞也是一种普遍风险。此外,尽管一些大模型产品已经具备一定的防护能力,但对抗无限制消耗攻击的措施仍需加强。值得注意的是,传统的安全漏洞依然普遍,必须引起足够的重视。

在参与测试的主流大模型产品中,腾讯的混元大模型、百度的文心一言和阿里巴巴的通义 App 等,发现的漏洞相对较少,显示出较高的安全防护水平。这一结果为广大用户和开发者带来了信心。

活动最后,官方提出了四项 AI 大模型安全治理工作要求,强调了未来的防护措施和漏洞管理的重要性,包括加强安全防护、制定漏洞分类标准、鼓励社会白帽力量的参与,以及在 AI 系统全生命周期中融入安全管理。

(以上内容均由Ai生成)