领先 AI 模型在复杂物理任务中表现不佳，仍需人类助力

快速阅读: 全球50余位物理学家开发“CritPt”基准测试，评估AI处理复杂物理研究的能力。Google的Gemini3Pro和OpenAI的GPT-5表现不佳，最高准确率仅9.1%。测试涵盖11个物理领域，强调未发表研究内容。AI未来或成研究助手，辅助特定流程。

近日,由全球超过50位物理学家联合开发的 “CritPt” 基准测试,旨在评估 顶尖 AI 模型在处理未公开的复杂物理研究问题时的能力。测试的目标是模拟早期博士研究生所需的独立研究水平。尽管目前的 AI 系统如谷歌的 “Gemini3Pro” 和 OpenAI 的 “GPT-5” 被寄予厚望,但结果却令人失望。

图源备注:图片由AI生成,图片授权服务商Midjourney 在独立评估中,Gemini3Pro 以9.1% 的准确率名列榜首,而 GPT-5则以4.9% 的成绩紧随其后。这一结果表明,即使是表现 最好 的模型,仍然无法解决大多数任务,特别是在涉及更复杂的研究挑战时。CritPt 测试涵盖了来自量子物理、天体物理、高能物理和生物物理等11个领域的71个研究挑战。为了防止模型简单猜测或检索,所有问题均基于未发表的研究内容。

测试团队还采用了 “持续解决率” 这一更严格的评估标准,要求模型在五次尝试中至少四次给出正确答案。结果显示,所有模型的表现均大幅下滑,凸显了它们在复杂问题上推理的脆弱性。这种不可靠性对研究工作流程造成了挑战,模型常常会生成看似正确但实际却含有细微错误的答案,这可能误导研究人员并增加审核工作的负担。

研究团队指出,当前大模型在独立解决开放性物理问题方面尚显不足,更为现实的目标是将其视为 “研究助手”,在特定的工作流程中提供帮助。与此相符的是,OpenAI 计划在2026年9月推出一款研究实习生系统,并在2028年3月推出完全自主的研究系统。公司声称,GPT-5目前已经在帮助研究人员节省时间。

划重点: 🌟 目前 顶尖 AI 模型在复杂物理任务中的表现不尽如人意, 最高 仅达到9.1% 的准确率。

🔍 “CritPt” 基准测试涵盖了多个物理领域,问题均为未公开研究内容。

🤖 未来 AI 更可能作为研究助手,而非完全替代人类专家,帮助自动化特定流程。

(以上内容均由Ai生成)