AI

OpenAI揭示大模型幻觉问题根源及解决方案

发布时间:2025年9月6日    来源:szf
OpenAI揭示大模型幻觉问题根源及解决方案

快速阅读: 研究人员发现,大型语言模型产生幻觉的原因在于训练方法奖励猜测而非承认不确定性。OpenAI提出需重新设计评估指标,以减少模型在不确定时的猜测行为,提高准确性。

研究人员声称,他们已经解决了大型语言模型性能中的一个主要障碍——幻觉。幻觉是指大型语言模型生成了不准确的信息并将其作为事实呈现。这一问题困扰着最流行的大型语言模型,从OpenAI的GPT-5到Anthropic的Claude。

OpenAI在周四发布的一篇论文中指出,其基础发现是,大型语言模型之所以会产生幻觉,是因为它们的训练方法奖励猜测多于承认不确定性。换句话说,这些模型被鼓励“假装直到成功”。不过,有些模型表现得更好。上个月,OpenAI在其博客文章中提到,Claude模型更能意识到自己的不确定性,通常会避免做出不准确的陈述。然而,Claude的高拒绝率也有可能限制其实用性。

“幻觉持续存在的原因在于大多数评估的方式——语言模型被优化为优秀的考试者,不确定时猜测可以提高考试成绩。”研究人员在论文中写道。大型语言模型几乎总是处于“考试模式”,回答问题时仿佛生活中的每件事都是非黑即白的。然而,在许多方面,它们并不适合现实生活的复杂性,在现实中,不确定性比确定性更为常见,真正的准确性并非总是能够保证。

相关报道指出,“人类在实际生活中学会了表达不确定性的重要性,而语言模型主要是通过考试来评估,这些考试惩罚不确定性。”研究人员进一步解释道。

好消息是,解决方法涉及重新设计评估指标。“根本问题在于大量评估标准的不一致。”他们写道,“需要调整众多的主要评估标准,以停止在不确定时惩罚弃权。”

在关于该论文的博客文章中,OpenAI详细说明了这种调整将涉及的内容。“广泛使用的基于准确性的评估需要更新,以便其评分机制不再鼓励猜测。如果主要排行榜继续奖励幸运的猜测,模型将继续学习如何猜测。”OpenAI表示。

对于《商业内幕》的评论请求,OpenAI尚未立即回应。

(以上内容均由Ai生成)

你可能还想读

Coinbase新协议让AI自主完成加密支付

Coinbase新协议让AI自主完成加密支付

快速阅读: Coinbase推出MCP工具,基于x402协议,使AI代理能持有钱包、发送稳定币支付,实现机器间加密货币转账,内置限额和合规检查确保安全。 Coinbase新推出的MCP工具允许人工智能代理持有钱包并发送稳定币支付。基于Coi […]

发布时间:2025年10月24日
硅实验室推出Simplicity Ecosystem,简化物联网开发流程

硅实验室推出Simplicity Ecosystem,简化物联网开发流程

快速阅读: 硅实验室推出Simplicity生态系统,旨在简化嵌入式物联网开发,包括Simplicity Studio 6和2026年推出的Simplicity AI SDK,提供模块化工具和AI辅助设计,支持多种物联网标准。 硅实验室推出 […]

发布时间:2025年10月24日
老旧印刷厂变身高效AI数据中心

老旧印刷厂变身高效AI数据中心

快速阅读: 帕特莫斯利用旧印刷厂的液体设施,支持每机柜50至140千瓦电力需求,采用多环路液体冷却系统,确保高效散热与硬件保护,接入堪萨斯城区域冷水供应,实现环保节能。 他说道:“我认为,棕地是一种极具创意的方法来应对我们当前面临的最大问题 […]

发布时间:2025年10月24日
AI安全集成:Snyk Evo引领企业智能防护新纪元

AI安全集成:Snyk Evo引领企业智能防护新纪元

快速阅读: 数字系统的快速发展要求安全架构更加智能、灵活。Snyk Evo通过自主编排、AI感知和主动保护,重新定义AI应用安全,减少暴露风险,简化开发流程。 数字系统的快速发展迫使安全架构必须更快地思考、更智能地行动并即时适应。随着各组织 […]

发布时间:2025年10月24日
黄仁勋:美光对下一代AI突破至关重要

黄仁勋:美光对下一代AI突破至关重要

快速阅读: 英伟达与美光合作,推动AI基础设施发展。美光HBM3E内存助力英伟达GPU,提升AI性能。黄仁勋称,高性能内存对AI应用至关重要,双方合作开启消费级和企业级AI新水平。 在全球领导层就人工智能可持续发展进行辩论之际,各公司纷纷投 […]

发布时间:2025年10月24日
苹果COO确认休斯顿制造AI服务器提前发货

苹果COO确认休斯顿制造AI服务器提前发货

快速阅读: 苹果首席运营官萨比赫·汗确认,因特朗普总统推动,苹果从休斯顿新工厂提前出货美国制造的人工智能服务器,此举响应总统号召,促进本国就业。 苹果首席运营官萨比赫·汗在接受福克斯新闻网数字版采访时确认,公司正从其位于休斯顿的新工厂提前出 […]

发布时间:2025年10月24日
微软Edge浏览器增强Copilot模式,挑战AI浏览器市场

微软Edge浏览器增强Copilot模式,挑战AI浏览器市场

快速阅读: 微软Edge浏览器推出Copilot模式,提供AI代理功能,包括Actions和Journeys,支持语音操作完成任务及记录浏览历史,帮助用户从中断处继续。 Edge 浏览器推出 Copilot 模式,带来更强大的代理 AI 功 […]

发布时间:2025年10月24日
阿联酋总统重组人工智能与先进技术委员会

阿联酋总统重组人工智能与先进技术委员会

快速阅读: 阿布扎比总统重组人工智能与先进技术委员会,由谢赫·塔农任主席,旨在加速AI政策实施与技术发展,推动《阿布扎比数字政府战略2025-2027》实现。 阿布扎比,10月23日(WAM/ANI):阿布扎比酋长国总统谢赫·穆罕默德·本· […]

发布时间:2025年10月24日