OpenAI o3豪夺大模型棋王，40轮激战人类大师地位受挑战
快速阅读: Kaggle发布国际象棋AI文本排行榜，OpenAI o3以1685分领先，Grok 4和Gemini 2.5 Pro紧随其后。比赛基于40轮对决，评估模型的战略推理和规划能力，提供动态评估标准。
Kaggle Game Arena的国际象棋积分赛结果公布，OpenAI o3以1685分的人类等效Elo评分领先，Grok 4和Gemini 2.5 Pro紧随其后。DeepSeek R1、GPT-4.1、Claude Sonnet-4和Claude Opus-4并列第五。
经过40轮激烈比拼，国际象棋AI仅凭文本输入的比赛结果出炉。各大AI模型在无工具、无验证器的情况下进行对决，每组配对进行超过40场比赛，构建了类似围棋等运动项目的Elo排名。
OpenAI o3独占鳌头，Grok和Gemini位列第二。第一名o3的人类等效Elo评分为1685分，而人类大师水平为2200分。第二名Grok 4的人类等效Elo评分为1395分，表现不错。第三名Gemini 2.5 Pro的人类等效Elo评分为1343分，稍逊一筹。DeepSeek R1、GPT-4.1、Claude Sonnet-4和Claude Opus-4并列第五。
Kaggle首次举办AI国际象棋比赛，o3最终夺冠，证明其实力。此前，Kaggle举办了首届AI国际象棋表演赛，展示了o3、Grok 4、Gemini 2.5、DeepSeek R1等通用模型在国际象棋方面的表现。这些模型进步显著，大家从中获得不少乐趣，例如发现大语言模型特别喜欢西西里防御开局。然而，四局三胜的淘汰赛偶然性较大，不能严格衡量模型的真实水平。
今天，Kaggle正式发布了Game Arena平台上的国际象棋文本排行榜。该排行榜是一个严格的AI基准测试平台，前沿大语言模型在此竞技，全面考验它们的战略推理、规划、适应和协作能力。平台通过透明的测试设计、丰富的游戏数据和不断更新的多游戏排行榜，为评估AI的真实认知能力提供了动态且可复现的标准。
排行榜基于所有参赛模型之间的循环赛结果，每对模型进行20场白棋和20场黑棋的对决，共计40场比赛。此次比赛还扩大了参赛模型范围，不仅包括上周表演赛的8个模型，还增加了更多模型，以提供更全面、更可靠的评估结果。Game Arena的Elo分数采用标准的Bradley-Terry算法，基于模型之间的对战结果计算。为了估算这些模型的人类等效Elo评分，它们与L0到L3不同等级的国际象棋Stockfish引擎对弈。通过线性插值法，根据Stockfish各等级对应的人类Elo评分，计算出大模型的人类等效Elo分。具体来说，L0对应1320分，L1对应1468分，L2对应1608分，L3对应1742分。
需要注意的是，这些模型距离顶级人类棋手仍有较大差距。人类“大师”级棋手的评分为2200或更高，“特级大师”为2500或更高，而最强版本的Stockfish引擎估计的人类Elo评分高达3644。Stockfish是一款免费且开源的国际象棋引擎，自2020年以来，它赢得了顶级国际象棋引擎锦标赛(TCEC)和Chess.com计算机国际象棋锦标赛(CCC)的所有主要赛事，截至2025年8月，它是世界上最强的CPU国际象棋引擎，估计的Elo等级为3644。
除了Elo分数，此次还增加了“平均每回合Token数”和“平均每回合成本”等指标，以反映模型在性能和效率之间的权衡。然而，这个排行榜也存在一些限制和缺陷。首先，仅限于国际象棋，没有单一游戏能捕捉智能的全部范围。Kaggle将努力通过引入更多游戏来缓解这一问题。其次，施加严格的每步棋时间限制可能会惩罚那些需要更长时间才能得出结论、进行更深入思考的模型，从而偏向于那些速度更快但可能更肤浅的策略。最后，使用了模型提供商设置的默认抽样参数，这些参数可能具有非确定性。
Kaggle还发布了一个包含可移植棋谱(PGN)和模型公开推理过程的数据集“国际象棋文本输入基准测试‘Chess Text Gameplay’”。该数据集旨在评估和比较当今通用语言模型的战略推理能力，是Kaggle公开基准测试平台Game Arena的首个项目，该平台让AI模型在复杂的战略游戏中竞技，将严谨的科学方法与观赏性的竞赛体验相结合。
Kaggle介绍了三大理由：超越数据污染问题，静态测试无法区分模型的真实推理能力和记忆答案的能力，而在国际象棋文本输入测试中，每一步决策都源自模型的内部逻辑，确保评估的是真实的思考过程；高压环境下的表现，模型必须随机应变、从错误中恢复，并抓住不断变化的机会，如同人类国际象棋大师一样应对复杂局面；通用人工智能(AGI)的洞察，在此领域取得成功，意味着模型在多步骤战略问题解决方面达到了重要里程碑，为通用人工智能的发展提供了有价值的参考。
Kaggle还指出该数据集的一些局限性，包括推理输出是模型思考过程的生成性摘要，不是内部计算的字面追踪；模型的性能与用于此基准测试的特定测试框架内在相关；该数据集代表了这些特定模型版本在收集时点的性能。
Kaggle计划定期将新模型加入国际象棋文本排行榜及其他Game Arena排行榜，以跟踪AI模型在战略规划、推理和其他认知能力方面的进步。未来，Game Arena将推出更多游戏的排行榜，为AI模型的能力评估提供更全面的基准。今天的国际象棋文本排行榜只是第一步。
(以上内容均由Ai生成)
