OpenAI o3力压群雄夺冠,40轮激战问鼎大模型棋王
快速阅读: Kaggle首次举办AI国际象棋比赛,OpenAI o3以1685分领先,Grok 4和Gemini 2.5 Pro紧随其后。比赛采用40轮积分制,无工具辅助,排行榜基于Elo评分系统,提供模型性能和效率指标。
Kaggle Game Arena举办国际象棋积分赛后,OpenAI o3以人类等效Elo 1685分的成绩领先,Grok 4和Gemini 2.5 Pro紧随其后。DeepSeek R1和GPT-4.1、Claude Sonnet-4、Claude Opus-4并列第五。
此次比赛采取了严格的积分制,Elo榜单成为衡量实力的重要依据。经过40轮激烈对抗,各大AI模型仅凭文本输入进行对决,无工具、无验证器辅助。每组配对进行超过40场比赛,形成了类似围棋等项目的Elo排名体系。
OpenAI o3以人类等效Elo 1685分的成绩位居榜首,Grok 4和Gemini 2.5 Pro分别以1395分和1343分位列第二和第三。值得注意的是,DeepSeek R1和GPT-4.1、Claude Sonnet-4、Claude Opus-4并列第五。
这是Kaggle首次举办的AI国际象棋比赛,o3最终夺冠,证明了其实力。此前,Kaggle举办了首届AI国际象棋表演赛,展示了o3、Grok 4、Gemini 2.5、DeepSeek R1等通用模型在国际象棋方面的表现。这些模型进步显著,观众从中获得了许多乐趣,例如发现大语言模型特别喜欢西西里防御开局。
然而,淘汰赛的偶然性较大,无法严格衡量模型的真实水平。因此,Kaggle正式发布了Game Arena平台上的国际象棋文本排行榜。排行榜基于所有参赛模型之间的循环赛结果,每对模型进行20场白棋和20场黑棋的对决,共计40场比赛。
排行榜采用标准的Bradley-Terry算法计算Elo分数,通过与不同等级的国际象棋Stockfish引擎对弈,估算模型的人类等效Elo评分。Stockfish是一款免费且开源的国际象棋引擎,自2020年以来,它在顶级国际象棋引擎锦标赛和Chess.com计算机国际象棋锦标赛中屡获佳绩,截至2025年8月,其Elo等级为3644。
除了Elo分数,排行榜还增加了“平均每回合Token数”和“平均每回合成本”等指标,以反映模型在性能和效率之间的权衡。排行榜存在一些限制,包括仅限于国际象棋、严格的超时限制和抽样随机性。
Kaggle还提供了游戏回放,观众可以在YouTube播放列表中观看带解说的表演赛,排行榜上也有更多对局回放。此外,Kaggle发布了包含可移植棋谱(PGN)和模型公开推理过程的数据集,旨在评估和比较当今通用语言模型的战略推理能力。
Kaggle认为,国际象棋文本输入基准测试有助于超越数据污染问题,测试模型在高压环境下的表现,并为通用人工智能的发展提供有价值参考。未来,Game Arena将推出更多游戏的排行榜,为AI模型的能力评估提供更全面的基准。今天的国际象棋文本排行榜只是第一步。
(以上内容均由Ai生成)