AI

OpenAI o3豪夺大模型棋王,40轮血战胜人类大师

发布时间:2025年8月23日    来源:szf
OpenAI o3豪夺大模型棋王,40轮血战胜人类大师

快速阅读: Kaggle Game Arena举办国际象棋积分赛,OpenAI o3以1685分领先,Grok 4和Gemini 2.5 Pro紧随其后,DeepSeek R1等并列第五,比赛展示AI模型在国际象棋领域的最新进展。

Kaggle Game Arena举办的国际象棋积分赛结果揭晓,OpenAI o3以1685分的人类等效Elo分领先,Grok 4和Gemini 2.5 Pro紧随其后。DeepSeek R1、GPT-4.1、Claude Sonnet-4和Claude Opus-4并列第五。

经过40轮激烈对决,仅靠文本输入的国际象棋AI模型成绩出炉。各模型在无工具、无验证器的情况下进行较量,每组配对进行了40场比赛,最终形成类似围棋等运动项目的Elo排名。

OpenAI o3独占鳌头,Grok和Gemini位列第二、第三。其中,o3的估计人类Elo分为1685分,接近人类大师水平2200分;Grok 4的估计人类Elo分为1395分,表现不俗;Gemini 2.5 Pro的估计人类Elo分为1343分,稍逊一筹。

此外,DeepSeek R1、GPT-4.1、Claude Sonnet-4和Claude Opus-4并列第五。这是GameArena首次举办的AI国际象棋比赛,o3最终夺冠,证明了其实力。

此前,Kaggle举办了首届AI国际象棋表演赛,展示了o3、Grok 4、Gemini 2.5、DeepSeek R1等通用模型在国际象棋方面的能力。虽然这些模型取得了显著进步,但淘汰赛的偶然性较大,难以准确衡量模型的真实水平。因此,Kaggle正式发布了Game Arena平台上的国际象棋文本排行榜。

排行榜基于所有参赛模型之间的循环赛结果,每对模型进行20场白棋和20场黑棋的对决,共40场比赛。参赛模型不仅包括上周表演赛的8个模型,还增加了更多模型,以提供更全面、更可靠的评估结果。

Elo分数采用标准的Bradley-Terry算法计算,模型与L0到L3不同等级的国际象棋Stockfish引擎对弈,通过线性插值法估算人类等效Elo分。Stockfish是一款免费且开源的国际象棋引擎,自2020年起赢得多项顶级赛事,目前是世界上最强的CPU国际象棋引擎,估计的Elo等级为3644。

除了Elo分数,排行榜还增加了“平均每回合Token数”和“平均每回合成本”等指标,反映模型在性能和效率之间的平衡。排行榜存在一些限制,如仅限于国际象棋、严格的超时限制和抽样随机性。

Kaggle还发布了包含可移植棋谱(PGN)和模型公开推理过程的数据集,旨在评估和比较通用语言模型的战略推理能力。该数据集代表了特定模型版本在收集时点的性能,Kaggle计划定期更新排行榜,以跟踪AI模型在战略规划、推理和其他认知能力方面的进步。

国际象棋文本排行榜是Kaggle公开基准测试平台Game Arena的首个项目,将严谨的科学方法与观赏性的竞赛体验相结合。排行榜的发布有助于超越数据污染问题,考察模型在高压环境下的表现,并为通用人工智能的发展提供参考。

(以上内容均由Ai生成)

你可能还想读

微软Copilot全面升级,免费与付费功能详解

微软Copilot全面升级,免费与付费功能详解

快速阅读: 12月8日消息,微软宣布Copilot多层级升级,覆盖个人、企业及Copilot+ PC用户,新增智能代理、语义搜索与安全平台Agent 365,推动AI深度融入办公与生活场景。 微软近日宣布对其Copilot人工智能助手进行多 […]

发布时间:2025年12月8日
Atlassian推ChatGPT连接器,打通Jira与Confluence

Atlassian推ChatGPT连接器,打通Jira与Confluence

快速阅读: 据最新消息,Atlassian推出面向ChatGPT的MCP连接器,支持直接访问Jira与Confluence数据,实现任务摘要、问题创建及工作流自动化,并强化安全控制与第三方集成能力。 日前,澳大利亚软件企业Atlassian […]

发布时间:2025年12月8日
OpenAI本周将推GPT-5.2迎战Gemini

OpenAI本周将推GPT-5.2迎战Gemini

快速阅读: 据《华尔街日报》和《The Verge》报道,OpenAI提前发布GPT-5.2,聚焦速度与可靠性以应对竞争;其未公开的“Garlic”模型或提升效率,标志大模型竞赛转向实用性比拼。 近日,人工智能领域竞争加剧,多家科技企业相继 […]

发布时间:2025年12月8日
何小鹏:人形机器人更适配人类社会

何小鹏:人形机器人更适配人类社会

快速阅读: 12月8日消息,小鹏汽车董事长何小鹏在极客公园创新大会2026上阐述人形机器人研发理念,称其IRON机器人采用仿生设计,计划2026年底量产,2030年年销破百万台。 今日,在极客公园创新大会2026上,小鹏汽车董事长何小鹏就人 […]

发布时间:2025年12月8日
TCS推AI机器狗进军航空业

TCS推AI机器狗进军航空业

快速阅读: 据印度塔塔咨询服务公司(TCS)发布消息称,全球航空航天业加速绿色智能化转型,40%企业预计五年内实现“熄灯工厂”,数字孪生与eVTOL成重点方向,物理AI机器人有望获批用于高危场景。 日前,全球航空航天产业加速向绿色化、智能化 […]

发布时间:2025年12月8日
Meta签约多家媒体,为AI提供实时新闻

Meta签约多家媒体,为AI提供实时新闻

快速阅读: 据媒体报道,Meta与CNN、福克斯新闻等多家国际媒体签署AI数据合作协议,重启付费合作以提升Meta AI在新闻时效性与准确性方面的表现,并引导用户访问合作方网站。 日前,美国科技企业Meta宣布与多家国际新闻机构签署商业人工 […]

发布时间:2025年12月8日
Semaverse推AI平台赋能并购决策

Semaverse推AI平台赋能并购决策

快速阅读: 据最新消息,人工智能初创企业Semaverse近日推出“并购智能基础设施”平台,依托多智能体架构与智能记忆系统,为私募股权基金等提供覆盖交易全周期的五大智能化功能,助力数据驱动决策。 近日,人工智能初创企业Semaverse正式 […]

发布时间:2025年12月8日
Gartner建议全面禁用AI浏览器

Gartner建议全面禁用AI浏览器

快速阅读: 据Gartner发布消息称,AI浏览器存在严重数据安全与隐私风险,其侧边栏功能可能自动上传敏感信息至云端,企业部署前须严格评估后端安全机制并限制高危操作场景。 日前,国际知名研究机构Gartner发布风险警示,指出当前流行的AI […]

发布时间:2025年12月8日