AI 聊天机器人经常歪曲科学研究——而更新的模型可能更糟糕

快速阅读: 《心理邮报》消息，研究发现，流行的人工智能聊天机器人常过度概括科研成果，尤其是新模型。指令要求准确时，问题反而加重。多数模型生成的摘要比原始研究更具泛化性，且与人类撰写的摘要相比，其概括偏差明显更高。研究人员建议开发者和使用者采取措施减少误导风险。

及时了解最新的心理学和神经科学研究进展——在领英上关注PsyPost获取每日更新和洞察。人工智能聊天机器人正逐渐成为总结科研论文的热门工具，但一项新研究表明，这些系统经常歪曲它们所总结的研究成果。

这项发表于《皇家学会开放科学》的研究发现，最广泛使用的语言模型常常过度概括科学研究的结果——有时做出比原始研究更广泛或更自信的主张。这种倾向在较新的模型中更为常见，并且，自相矛盾的是，当聊天机器人被明确要求准确时，情况反而变得更糟。

该研究由乌得勒支大学的乌韦·彼得斯和西方大学及剑桥大学的本杰明·钦-伊领导。研究人员受到对大型语言模型（如ChatGPT、Claude、DeepSeek和LLaMA）在科学传播中使用日益增长的担忧的推动。这些工具因其能简化复杂内容而常被称赞，但批评者警告说，它们可能会忽略重要的限制或注意事项，尤其是在将技术性发现转化为更易读的语言时。过度概括可能误导读者的理解，特别是当科学结果被视为普遍适用或将不确定的发现重新表述为政策建议时。

为了检验这些担忧是否合理，研究人员对10个最著名的大型语言模型进行了大规模评估。这些模型包括流行的系统如GPT-4 Turbo、ChatGPT-4o、Claude 3.7 Sonnet和DeepSeek。总计，他们分析了4,900篇由聊天机器人生成的科学文本摘要。来源材料包括来自《自然》、《科学》、《柳叶刀》和《新英格兰医学杂志》等顶级科学和医学期刊的200篇研究摘要，以及100篇完整的医学文章。对于一些完整文章，研究人员还包含了《新英格兰医学杂志观察》中的专家撰写摘要，以便比较人类和AI生成的摘要。每个摘要都检查是否有过度概括的迹象。研究人员专注于三个特定特征，这些特征扩大了科学主张的范围：使用泛指陈述而不是具体陈述，将过去时描述改为现在时，以及将描述性发现转变为行动导向的建议。例如，如果一项研究指出“试验参与者经历了改善”，一个泛化的版本可能会说“这种治疗改善了结果”，这可能会错误地暗示更广泛的或更普遍的效果。

大多数语言模型生成的摘要比原始文本更有可能包含泛化结论。事实上，像ChatGPT-4o和LLaMA 3.3这样的较新模型生成的摘要中包含过度概括的可能性高达73%。相比之下，像GPT-3.5和Claude系列这样的早期模型出现此类问题的概率较低。

研究人员还发现，指令要求模型避免不准确性时，并没有帮助——实际上，情况变得更糟。当模型被要求“避免不准确性”时，它们几乎是简单要求总结文本时产生泛化陈述可能性的两倍。这种反直觉结果的一个解释可能与模型如何解读指令有关。就像人类在被告知不要想某事时倾向于专注于此事一样，模型可能通过生产听起来更权威但具有误导性的摘要来回应关于准确性的提醒。

除了比较聊天机器人摘要与原始研究外，该研究还查看了模型的表现与人类科学作家相比如何。具体来说，研究人员将模型生成的医学研究摘要与《新英格兰医学杂志观察》中专家撰写的摘要进行比较。他们发现，人类撰写的摘要大大减少了过度概括的情况。事实上，聊天机器人生成的摘要几乎五倍于超出原始研究支持范围的科学结论。

另一个有趣的发现是模型设置的作用。当研究人员使用“API”以温度设置为0（使模型更具确定性和创意性较低）生成摘要时，过度概括的可能性显著下降。这表明控制某些技术参数可以帮助减少错误，尽管这个选项可能对通过标准网络界面访问聊天机器人的普通用户不可用。

研究人员指出，并非所有的概括都是有害的。有时简化复杂的发现可以使科学更容易被理解，特别是对于非专业人士而言。但是，当这些概括超出了证据范围时，它们可能会误导读者甚至带来风险。这一点在医学等高风险领域尤为重要，其中夸大的声明可能影响临床决策。

尽管该研究主要聚焦于过度概括现象，但研究人员承认也可能存在概括不足的情况。模型可能会将广泛支持的发现变成狭隘措辞的摘要，从而可能低估重要结果。然而，这些情况远不如过度概括常见，这是研究的主要重点。

研究人员指出，并非所有的概括都是有害的。有时简化复杂的发现可以使科学更容易被理解，特别是对于非专业人士而言。但是，当这些概括超出了证据范围时，它们可能会误导读者甚至带来风险。这一点在医学等高风险领域尤为重要，其中夸大的声明可能影响临床决策。

这项研究不仅因其规模和全面性而脱颖而出，还因为它提供了一个明确的框架来评估语言模型如何保留科学结论的范围。研究人员建议语言模型开发者和使用者采取多种策略以减少误导性摘要的风险。这些包括使用设置更保守的模型，避免明确要求准确性的指令，并选择像Claude这样对原始文本表现出更高忠实度的系统。

但该研究也有一些局限性。它只测试了几种提示类型，而且主要集中在医学研究上，这可能无法推广到所有科学领域。用于对比的人类撰写的摘要由专家群体撰写，可能无法反映为公众撰写的摘要。未来研究可探讨不同提示策略或模型配置对更广泛科学领域的表现有何影响。

该研究“科学研究大型语言模型总结中的概括偏差”由乌韦·彼得斯和本杰明·钦-伊撰写。

(以上内容均由Ai生成)