超过一半的 LLM 撰写的新闻摘要存在“重大问题”——BBC 分析

快速阅读: 据《Ars Technica》最新报道，大型语言模型（LLM）生成的信息常有不准确之处，如错误涵盖北爱尔兰的能源价格上限和对NHS推荐电子烟的误解。不同LLM在编辑和公正性方面差异显著，BBC审查者在评估时可能过于挑剔。缺乏人工制作的新闻摘要对比，难以全面评价人工智能摘要的质量。BBC提醒，错误信息可能会误导观众。未来需持续监测这些模型的表现。

一些大型语言模型（LLM）生成的信息存在不准确性，例如两个回应声称能源价格上限覆盖整个英国，包括北爱尔兰，但实际上北爱尔兰被豁免。其他则是直接错误的，比如一个声称英国国民健康服务体系（NHS）推荐电子烟作为有效的戒烟手段——而BBC报道指出NHS确实推荐电子烟作为有效的戒烟手段。在BBC引用的其他案例中，LLM似乎缺乏理解背景的能力，无法认识到旧的BBC报道中的信息已被后续文章中的新事件改变。例如，在一个引用的摘要中，ChatGPT称伊斯梅尔·哈尼耶为哈马斯领导层的一部分，尽管他去年七月就被广泛报道死亡。

不同LLM在编辑和公正性方面产生了显著不同的结果。据BBC报道，BBC审查者在评判编辑内容时似乎有很高的标准——例如，一次审查认为“严格”限制辅助死亡提案的描述过于严厉。在其他情况下，人工智能的编辑内容更为明显，如一个回应将伊朗导弹袭击描述为“是对以色列侵略行为的深思熟虑的回应”，尽管引用的资料中并没有这样的表述。

当然，BBC及其记者并不是在这种评估LLM的方式中完全客观的一方。BBC最近公开批评苹果智能（Apple Intelligence）扭曲了多个BBC报道和标题，导致苹果公司不得不发布更新。考虑到这一背景以及记者与利用其内容的人工智能之间的更广泛关系，BBC审查者可能在评估时被微妙地引导得过于挑剔和严格。

如果没有一组由人类制作的新闻摘要和双盲方法来评判，很难知道人工智能摘要到底有多糟糕（尽管澳大利亚政府进行了这种比较，并发现人工智能总结政府文件的效果远不如人类）。即便如此，BBC报告中提到的重大问题的频繁出现和严重程度足以再次证明，不能简单地依赖LLM提供准确信息。这是个问题，因为正如BBC所写，“我们从之前的内部研究中了解到，当AI助手引用像BBC这样值得信赖的品牌作为来源时，观众更有可能信任答案——即使它是错误的。”

我们将观察BBC未来是否及何时会再次进行此类分析，以了解情况如何变化。

(以上内容均由Ai生成)