OpenAI o3战胜人类大师，大模型棋王诞生引争议
快速阅读: Kaggle首次举办AI国际象棋比赛，OpenAI o3以1685分夺冠，Grok 4、Gemini 2.5 Pro紧随其后。比赛通过40轮对决评估模型的战略推理、规划和适应能力，提供动态评估标准。
Kaggle Game Arena举办的国际象棋积分赛结果揭晓，OpenAI o3以人类等效Elo 1685分的成绩领先，Grok 4和Gemini 2.5 Pro紧随其后。DeepSeek R1和GPT-4.1、Claude Sonnet-4、Claude Opus-4并列第五。
经过40轮激烈比拼，国际象棋AI仅凭文本输入的比赛结果出炉。各大AI模型在无工具、无验证器的情况下展开对决，每组配对进行超过40场比赛，构建了类似围棋等运动项目的Elo排名。
OpenAI o3独占鳌头，Grok、Gemini位列第二。第一名OpenAI o3，人类等效Elo为1685分，而人类大师水平为2200分；第二名Grok 4，人类等效Elo为1395分；第三名Gemini 2.5 Pro，人类等效Elo为1343分。此外，DeepSeek-R1-0528和GPT-4.1、Claude Sonnet-4、Claude Opus-4并列第五。
Kaggle首次举办AI国际象棋比赛，OpenAI o3最终夺冠，证明了其实力。此次比赛前，Kaggle曾举办过首届AI国际象棋表演赛，展示了o3、Grok 4、Gemini 2.5、DeepSeek R1等通用模型在国际象棋方面的表现。这些模型进步显著，观众从中获得不少乐趣，例如发现大语言模型特别喜欢西西里防御开局。
然而，四局三胜的淘汰赛偶然性较大，无法严格衡量模型的真实水平。因此，Kaggle正式发布了Game Arena平台上的国际象棋文本排行榜，这是一个严格的AI基准测试平台。前沿大语言模型在此竞技，全面考验它们的战略推理、规划、适应和协作能力。平台通过透明的测试设计、丰富的游戏数据和不断更新的多游戏排行榜，为评估AI的真实认知能力提供了动态且可复现的标准。
国际象棋文本排行榜基于所有参赛模型之间的循环赛结果，每对模型进行20场白棋和20场黑棋的对决，共40场比赛。此次比赛还扩大了参赛模型范围，不仅包括上周表演赛的8个模型，还增加了更多模型，以提供更全面、更可靠的评估结果。Game Arena的Elo分数采用标准的Bradley-Terry算法，基于模型之间的对战结果计算。
为了估算这些模型的人类等效Elo评分，它们与L0到L3不同等级的国际象棋Stockfish引擎对弈。通过线性插值法，根据Stockfish各等级对应的人类Elo评分，计算出大模型的人类等效Elo分。具体来说：L0对应1320分，L1对应1468分，L2对应1608分，L3对应1742分。这些模型距离顶级人类棋手仍有较大差距，人类“大师”级棋手的评分为2200或更高，“特级大师”为2500或更高，而最强版本的Stockfish引擎估计的人类Elo评分高达3644。
Stockfish是一款免费且开源的国际象棋引擎，自2020年以来，它赢得了顶级国际象棋引擎锦标赛(TCEC)和Chess.com计算机国际象棋锦标赛(CCC)的所有主要赛事。截至2025年8月，Stockfish是世界上最强的CPU国际象棋引擎，估计的Elo等级为3644，置信区间则通过500次重采样比赛结果，并分别计算Game Arena Elo和人类Elo分得出。
除了Elo分数，此次还增加了“平均每回合Token数”和“平均每回合成本”等指标，以反映模型在性能和效率之间的权衡。这个排行榜也存在一些限制和缺陷，包括：仅限于国际象棋，没有任何单一游戏可以捕捉智能的全部范围；Kaggle将通过引入更多游戏来缓解这一问题。施加严格的每步棋时间限制可能会惩罚那些需要更长时间得出结论、进行更深入思考的模型，从而偏向于那些速度更快但可能更肤浅的策略。使用了模型提供商设置的默认抽样参数，这些参数可能具有非确定性。
Kaggle还发布了包含可移植棋谱(PGN)和模型公开推理过程的数据集“国际象棋文本输入基准测试”。该数据集旨在评估和比较当今通用语言模型的战略推理能力，是Kaggle公开基准测试平台Game Arena的首个项目，该平台让AI模型在复杂的战略游戏中竞技，将严谨的科学方法与观赏性的竞赛体验相结合。
Kaggle介绍了三大理由：静态测试无法区分模型的真实推理能力和记忆答案的能力，而在国际象棋文本输入测试中，每一步决策都源自模型的内部逻辑，确保评估的是真实的思考过程。模型必须随机应变、从错误中恢复，并抓住不断变化的机会，如同人类国际象棋大师一样应对复杂局面。在此领域取得成功，意味着模型在多步骤战略问题解决方面达到了重要里程碑，为通用人工智能的发展提供了有价值的参考。
Kaggle计划定期将新模型加入国际象棋文本排行榜及其他Game Arena排行榜，以跟踪AI模型在战略规划、推理和其他认知能力方面的进步。未来，Game Arena将推出更多游戏的排行榜，为AI模型的能力评估提供更全面的基准。今天的国际象棋文本排行榜只是第一步。
(以上内容均由Ai生成)
