专家质疑Anthropic防核武器AI计划的有效性

快速阅读: AI Now研究所首席科学家海蒂·克哈夫质疑Anthropic关于Claude不会帮助制造核武器的声明，认为其模型未接触核秘密，测试结果不足以证明安全性。她担心政府与私营AI公司的合作可能导致敏感数据泄露。

对于拥有核安全背景的AI Now研究所首席AI科学家海蒂·克哈夫来说，Anthropic承诺Claude不会帮助任何人制造核武器，这既是一种魔术表演，也是一种安全秀。她认为，像Claude这样的大型语言模型的质量取决于其训练数据。如果Claude从未接触过核秘密，那么分类器就无关紧要了。

“如果NNSA测试的模型没有经过敏感核材料的训练，那么他们的测试结果并不能证明测试提示的全面性，而是表明该模型可能不具备展示足够核能力的数据或训练。”克哈夫告诉《连线》杂志，“在这种情况下，利用这一不确定的结果结合常见的核知识来构建核‘风险指标’分类器是不充分的，距离法律和技术定义的核保障还有很大差距。”

克哈夫还指出，此类公告助长了关于聊天机器人不具备的能力的猜测。“这项工作似乎依赖于未经证实的假设，即Anthropic的模型在未经进一步训练的情况下会产生新的核能力，这与现有的科学并不相符。”她说。

Anthropic持不同意见。“我们很多的安全工作都集中在积极构建能够识别未来风险并加以缓解的安全系统上。”一位Anthropic发言人告诉《连线》杂志，“这个分类器就是其中一个例子。我们与NNSA的合作使我们能够进行适当的风险评估，并创建防止模型潜在滥用的保护措施。”

克哈夫对美国政府与私人AI公司之间的合作也表示担忧。像Anthropic这样的公司渴望获得训练数据，她认为美国政府急于拥抱AI技术为这些公司提供了一个获取其他途径难以获得的数据的机会。“我们是否希望这些基本上不受监管的私营企业能够接触到极其敏感的国家安全数据？”她说，“无论是在军事系统、核武器还是核能方面。”

(以上内容均由Ai生成)