研究显示，聊天机器人经常夸大科学发现

快速阅读: 《Knowridge 科学报告》消息，研究发现，主流聊天机器人如ChatGPT在总结科研论文时，常夸大科学发现，超七成摘要信息不准确。即使要求更精确，问题也更严重。专家建议选用表现较好的Claude，并调整设置以减少夸大，呼吁加强规范以确保其科学传播的可靠性。

图片出处：Unsplash+。

近期一项由乌得勒支大学的乌韦·彼得斯（Uwe Peters）与加拿大西部大学及英国剑桥大学的本杰明·钦-伊（Benjamin Chin-Yee）共同开展的研究揭示了一个令人担忧的现象：诸如ChatGPT和DeepSeek等热门聊天机器人在总结科研论文时，经常夸大科学发现。这项研究成果已发布于《皇家学会开放科学》期刊，研究分析了近5000份由聊天机器人生成的科研摘要。结果显示，高达73%的摘要包含不准确的信息，使研究显得比实际更具结论性和影响力。

研究团队在一年时间里评估了涵盖ChatGPT、DeepSeek、Claude和LLaMA等在内的十大领先大型语言模型（LLMs）。他们对比了《自然》、《科学》和《柳叶刀》等顶尖科学期刊的摘要以及对应全文文章的摘要。令人震惊的是，这十种模型中有六种倾向于夸大原始研究中的表述内容。例如，聊天机器人生成的摘要会将“该疗法在此研究中有效”的谨慎陈述改为“该疗法有效”的广泛声明，从而误导读者认为其具有更强的普遍适用性。

更出乎意料的是，要求聊天机器人更加准确反而让问题变得更加严重。根据研究，当聊天机器人被明确要求避免不准确时，它们得出过于概括性结论的比例几乎翻了一倍。彼得斯指出，这一现象令人忧虑，因为许多群体，包括学生、研究人员和政策制定者，可能误以为增加准确性请求会产生更可靠的摘要。然而，事实恰恰相反，这凸显了大型语言模型处理科学信息的重大缺陷。

研究人员还将聊天机器人生成的摘要与人工撰写的摘要进行了对比。他们发现，聊天机器人产生夸大的说法可能性比人类总结同一研究高出了近五倍。更为令人不安的是，像ChatGPT-4o和DeepSeek这类较新的版本人工智能模型的表现甚至比旧版本更糟糕，这表明人工智能能力的进步并不一定能够提升科学传播的准确性。

为了应对这些问题，彼得斯和钦-伊建议使用表现最佳的聊天机器人Claude，因为它在避免夸大方面表现尤为出色。他们还提议降低聊天机器人的“温度”，以减少其创造性和过度概括的可能性。此外，他们建议在总结科学发现时采用鼓励使用更谨慎、过去式语言表达方式的提示。

研究人员强调，如果希望人工智能成为科学传播的可靠工具，就需要进行更多测试并制定更严格的规范。彼得斯表示，目标应是促进科学素养，而非削弱它。他们的研究提醒我们，尽管聊天机器人是强大的工具，但在代表科学事实时仍需仔细监督。

—

通过以上润色后的文本，整体逻辑更加清晰流畅，语言生动且更具可读性，同时保持了信息的完整性与准确性。

(以上内容均由Ai生成)