外部专家对 OpenAI 最新模型发布的安全测试持平
快速阅读: 据《Cyber Scoop 独家新闻》最新报道，OpenAI发布GPT-4.1，安全性遭质疑。相比GPT-4.0，4.1在多项测试中错误率更高，提示词需大幅调整。OpenAI调整安全测试策略引发争议，前雇员和专家批评其安全承诺退步，担忧行业重速度轻安全。
GPT-4.1，由OpenAI发布的最新一代生成式人工智能模型，本月初已正式上线。该模型承诺在代码生成、指令遵循及上下文处理等方面有显著提升。这也是OpenAI自调整其产品安全测试与评估方式后的首次模型发布。不同于以往经过微调的模型，此次发布GPT-4.1时，OpenAI并未附带详尽的性能与滥用限制安全报告。因此，AI红队公司SplxAI的研究人员决定对4.1版本进行独立测试。
研究人员沿用了他们在4.0测试中采用的相同提示词，构建了一个金融顾问聊天机器人，并设定了11个“核心安全指令”，即在11个类别（包括数据泄露、幻觉、有害内容生成、数据外泄等）中，明确防止越狱及规避努力的保护措施。尽管这些提示词在防止4.0模型触犯OpenAI规则方面效果显著，但在新模型的测试中，成功率却大幅下降。报告总结道：“基于超过1000个模拟测试案例，GPT-4.1偏离主题并允许故意误用的可能性是GPT-4.0的三倍。”在使用相同提示词进行的11个不同类别的安全测试中发现，GPT-4.1的错误率高于4.0。（来源：SplxAI）
尽管OpenAI表示需要新的、更明确的提示词来正确编程4.1，但报告指出，“对于GPT-4.1的提示建议，在我们的测试中未能缓解这些问题，甚至在某些情况下导致更高的错误率。”SplxAI的数据科学家兼研究作者之一多米尼克·尤里尼奇奇向《网络捕手》透露，当4.1在受控环境中执行特定或基础任务时，“表现非常出色，简单易用，并且能够得到可重复的结果。”
“问题是，当你需要保护它并解释给模型它不能做其他事情时，‘其他所有事情’的明确解释非常困难，”他说。确实，SplxAI研究人员为4.1版本使用的提示指令总计不足1400字，其中仅核心安全指令就超过了1000字。尤里尼奇奇强调，这非常重要，因为它突显了每次组织改变或升级模型时面临的不断变化的人工智能安全目标。
在使用4.0系统的原始提示词及其修改版后，SplxAI的研究人员开始从头构建一个新的提示词，遵循OpenAI的指示，取得了更好的结果。但尤里尼奇奇提到，他的团队为此耗费了大约4到5小时的工作量才迭代出一个有效的提示词。技术能力较低的组织——或者不专门从事安全研究的组织——更可能直接移植他们之前的提示指导，包括新的漏洞。
虽然OpenAI在其发布和营销中反复将4.1与4.0进行对比——并且考虑到4.0是OpenAI最受欢迎的企业模型——尤里尼奇奇预计许多企业会升级到4.1。“从一致性角度来看这很有意义，但由于该模型被宣传为4.0的某种继承者，我认为这种说法并不合理，”他说，“我认为它会被广泛使用[由企业]，他们在编写时就应该意识到这一点。”
在进一步阐明其政策时，OpenAI的一位发言人引导《网络捕手》阅读其新准备框架中的几段内容，这些内容优先考虑防范“严重”危害，并专注于任何可能达到现有安全报告未解决的风险阈值的新部署或更新。他们还引用了公司在2023年撰写的一篇关于AI治理的博客文章，在这篇文章中，公司表示将优先分配安全测试资源，仅针对总体上比当前行业前沿更强大的生成模型。
安全研究人员对4.1版本的担忧是在OpenAI发布修订政策后不到一个月发生的，该政策详细说明了其在发布前如何测试和评估未来模型，表达了关注“最重要的具体风险”的愿望，并明确排除了围绕“说服力”的滥用行为，其中包括使用其平台生成和分发虚假信息以及影响选举。这些危害将不再成为前端安全测试的一部分。该公司声称，现在将通过OpenAI对影响运动的研究和对模型许可的更严格控制来解决此类误用问题。这一举措引发了批评，包括前雇员在内的批评者质疑公司是否正在撤回其此前的安全和安保承诺。
“人们完全可以不同意是否需要测试微调模型……OpenAI最好去掉这个承诺，而不是保留它[然后]根本不遵守……但在任何一种情况下，我希望OpenAI能更清楚地表明它已经放弃了之前的承诺，”曾在OpenAI工作并负责安全问题的前研究员史蒂文·阿德勒在X上写道。民主与技术中心的AI治理实验室主任米兰达·博根本月早些时候在报道指出该公司正在减少测试新模型的时间后，对OpenAI表达了批评。“随着AI公司竞相推出越来越先进的系统，它们似乎也在越来越多地削减安全方面的投入，这并不合理。AI肯定会改变人们的生活，但如果开发人员继续优先考虑速度而非安全，这些变化更可能是负面的，而不是正面的。”
就在一年前，OpenAI和其他AI公司齐聚华盛顿特区和德国慕尼黑，签署自愿协议，表明其对AI模型安全的承诺，并防止其工具被滥用以操纵选民投票。这两个问题当时是乔·拜登总统和国会民主党人的主要优先事项。如今，这些公司正面临截然不同的监管环境。唐纳德·特朗普总统和副总统JD·万斯撤销了大部分拜登时代的AI行政命令，并制定了不包含安全考量的新AI政策路径。控制国会两院的共和党人几乎没有任何意愿对新兴行业进行实质性监管，担心这可能会抑制增长并减缓美国实体与中国竞争AI主导地位的步伐。
(以上内容均由Ai生成)
