研究警告称，AI 研究摘要“夸大了研究结果”

快速阅读: 《泰晤士高等教育》消息，研究显示，AI工具常夸大科研结果，最新版AI尤为严重。AI摘要易“泛化”结论，忽略不确定性，可能导致医疗风险。建议采用特定AI模型或调整设置以减少夸大风险。联系邮箱：john.ross@timeshighereducation.com

研究表明，人工智能工具比人类更频繁地夸大研究结果，尤其是最新版本的机器人是最严重的违规者之一，尤其是在被明确指示不要夸大的情况下。荷兰和英国的研究人员发现，人工智能对科学论文的总结比原始作者或专家评审更容易“泛化”结果。这项分析发表在《皇家学会开放科学》期刊上，表明人工智能的总结——据称旨在通过用“易于理解的语言”重述内容来帮助传播科学知识——往往通过“忽略限定词”并“过度简化”文本内容而忽略了研究中的“不确定性、局限性和细微差别”。报告警告说，这种做法在应用于医学研究时尤其“危险”。如果聊天机器人生成的摘要忽略了关于临床试验结果普遍适用性的限定词，依赖这些聊天机器人的从业者可能会开出不安全或不合适的治疗方案。

该团队分析了近五千份由两百篇期刊摘要和一百篇完整文章生成的人工智能摘要。主题范围从咖啡因对心律失常的影响到减肥手术降低癌症风险的好处，再到虚假信息和政府沟通对居民行为及人们对气候变化信念的影响。由较旧版本的人工智能应用生成的摘要，证明比原始摘要包含泛化结论的可能性高出约2.6倍。去年五月发布的ChatGPT−4摘要中泛化结论的可能性增至九倍，在12月出现的Llama 3.3综述中增加了39倍。要求“忠实于源材料”和“不引入任何不准确性”的指令却产生了相反的效果，这些摘要比简单要求机器人“提供主要发现摘要”生成的摘要更可能包含泛化结论。这表明生成式人工智能可能容易受到“讽刺反弹”效应的影响，即不考虑某些事物的指令——例如，“一只粉红色的大象”——会自动唤起被禁止的主题的形象。研究人员推测，微调机器人可能会加剧这些问题。当人工智能应用程序“优化为更有帮助性”时，它们就不太愿意“表达对超出其参数知识范围问题的不确定性”。论文解释说，一个“给出高度精准但复杂答案”的工具可能会得到人类评估者的较低评价。文中引用的一个摘要将一种糖尿病药物“优于安慰剂”的发现重新解读为对“有效且安全治疗”的认可。“这样的……泛化可能会误导从业者采用不安全的干预措施，”论文指出。它提出了五种策略来“减轻人工智能摘要中泛化的风险”。其中包括使用Anthropic公司开发的“Claude”系列机器人，发现其生成的摘要最为忠实。另一个建议是降低机器人的“温度”设置。温度是一个可调参数，控制生成文本的随机性。

john.ross@timeshighereducation.com

(以上内容均由Ai生成)