OpenAI揭示大模型幻觉问题根源及解决方案

快速阅读: 研究人员发现，大型语言模型产生幻觉的原因在于训练方法奖励猜测而非承认不确定性。OpenAI提出需重新设计评估指标，以减少模型在不确定时的猜测行为，提高准确性。

研究人员声称，他们已经解决了大型语言模型性能中的一个主要障碍——幻觉。幻觉是指大型语言模型生成了不准确的信息并将其作为事实呈现。这一问题困扰着最流行的大型语言模型，从OpenAI的GPT-5到Anthropic的Claude。

OpenAI在周四发布的一篇论文中指出，其基础发现是，大型语言模型之所以会产生幻觉，是因为它们的训练方法奖励猜测多于承认不确定性。换句话说，这些模型被鼓励“假装直到成功”。不过，有些模型表现得更好。上个月，OpenAI在其博客文章中提到，Claude模型更能意识到自己的不确定性，通常会避免做出不准确的陈述。然而，Claude的高拒绝率也有可能限制其实用性。

“幻觉持续存在的原因在于大多数评估的方式——语言模型被优化为优秀的考试者，不确定时猜测可以提高考试成绩。”研究人员在论文中写道。大型语言模型几乎总是处于“考试模式”，回答问题时仿佛生活中的每件事都是非黑即白的。然而，在许多方面，它们并不适合现实生活的复杂性，在现实中，不确定性比确定性更为常见，真正的准确性并非总是能够保证。

相关报道指出，“人类在实际生活中学会了表达不确定性的重要性，而语言模型主要是通过考试来评估，这些考试惩罚不确定性。”研究人员进一步解释道。

好消息是，解决方法涉及重新设计评估指标。“根本问题在于大量评估标准的不一致。”他们写道，“需要调整众多的主要评估标准，以停止在不确定时惩罚弃权。”

在关于该论文的博客文章中，OpenAI详细说明了这种调整将涉及的内容。“广泛使用的基于准确性的评估需要更新，以便其评分机制不再鼓励猜测。如果主要排行榜继续奖励幸运的猜测，模型将继续学习如何猜测。”OpenAI表示。

对于《商业内幕》的评论请求，OpenAI尚未立即回应。

(以上内容均由Ai生成)