AI

OpenAI o3豪夺大模型棋王,40轮血战胜人类大师

发布时间:2025年8月23日    来源:szf
OpenAI o3豪夺大模型棋王,40轮血战胜人类大师

快速阅读: Kaggle Game Arena举办国际象棋积分赛,OpenAI o3以1685分领先,Grok 4和Gemini 2.5 Pro紧随其后,DeepSeek R1等并列第五,比赛展示AI模型在国际象棋领域的最新进展。

Kaggle Game Arena举办的国际象棋积分赛结果揭晓,OpenAI o3以1685分的人类等效Elo分领先,Grok 4和Gemini 2.5 Pro紧随其后。DeepSeek R1、GPT-4.1、Claude Sonnet-4和Claude Opus-4并列第五。

经过40轮激烈对决,仅靠文本输入的国际象棋AI模型成绩出炉。各模型在无工具、无验证器的情况下进行较量,每组配对进行了40场比赛,最终形成类似围棋等运动项目的Elo排名。

OpenAI o3独占鳌头,Grok和Gemini位列第二、第三。其中,o3的估计人类Elo分为1685分,接近人类大师水平2200分;Grok 4的估计人类Elo分为1395分,表现不俗;Gemini 2.5 Pro的估计人类Elo分为1343分,稍逊一筹。

此外,DeepSeek R1、GPT-4.1、Claude Sonnet-4和Claude Opus-4并列第五。这是GameArena首次举办的AI国际象棋比赛,o3最终夺冠,证明了其实力。

此前,Kaggle举办了首届AI国际象棋表演赛,展示了o3、Grok 4、Gemini 2.5、DeepSeek R1等通用模型在国际象棋方面的能力。虽然这些模型取得了显著进步,但淘汰赛的偶然性较大,难以准确衡量模型的真实水平。因此,Kaggle正式发布了Game Arena平台上的国际象棋文本排行榜。

排行榜基于所有参赛模型之间的循环赛结果,每对模型进行20场白棋和20场黑棋的对决,共40场比赛。参赛模型不仅包括上周表演赛的8个模型,还增加了更多模型,以提供更全面、更可靠的评估结果。

Elo分数采用标准的Bradley-Terry算法计算,模型与L0到L3不同等级的国际象棋Stockfish引擎对弈,通过线性插值法估算人类等效Elo分。Stockfish是一款免费且开源的国际象棋引擎,自2020年起赢得多项顶级赛事,目前是世界上最强的CPU国际象棋引擎,估计的Elo等级为3644。

除了Elo分数,排行榜还增加了“平均每回合Token数”和“平均每回合成本”等指标,反映模型在性能和效率之间的平衡。排行榜存在一些限制,如仅限于国际象棋、严格的超时限制和抽样随机性。

Kaggle还发布了包含可移植棋谱(PGN)和模型公开推理过程的数据集,旨在评估和比较通用语言模型的战略推理能力。该数据集代表了特定模型版本在收集时点的性能,Kaggle计划定期更新排行榜,以跟踪AI模型在战略规划、推理和其他认知能力方面的进步。

国际象棋文本排行榜是Kaggle公开基准测试平台Game Arena的首个项目,将严谨的科学方法与观赏性的竞赛体验相结合。排行榜的发布有助于超越数据污染问题,考察模型在高压环境下的表现,并为通用人工智能的发展提供参考。

(以上内容均由Ai生成)

你可能还想读

杭州率先为具身智能机器人立法,将明确从业者的伦理“红线”

杭州率先为具身智能机器人立法,将明确从业者的伦理“红线”

快速阅读: 杭州将率先为“具身智能机器人”立法,促进产业发展。《条例(草案)》经市政府常务会议审议通过,涵盖技术创新、基础设施建设、伦理规范等内容,旨在提升产业核心竞争力,推动产品应用落地。 因包括宇树科技在内的“杭州六小龙”爆火出圈而备受 […]

发布时间:2025年10月23日
以AI为纽带,第三期人工智能能力建设研讨班在上海人工智能研究院顺利举行

以AI为纽带,第三期人工智能能力建设研讨班在上海人工智能研究院顺利举行

快速阅读: 10月23日,上海人工智能研究院举办第三期人工智能能力建设研讨班,来自38个国家的政府官员参与。研讨班旨在落实联合国决议,推动AI国际合作,展示中国AI创新成果,促进全球AI普惠发展。 上海人工智能研究院院长 全球工业人工智能联 […]

发布时间:2025年10月23日
Airbnb称赞阿里开源AI模型:快速且经济

Airbnb称赞阿里开源AI模型:快速且经济

快速阅读: Airbnb首席执行官Brian Chesky称赞阿里巴巴Qwen模型,因其速度快、成本低,助力Airbnb客服代理提升效率,计划扩展多语言支持。中国科技企业开源AI策略获国际认可。 家庭住宿预订平台Airbnb赞扬了阿里巴巴的 […]

发布时间:2025年10月23日
比利时考虑对AI数据中心设电力限制

比利时考虑对AI数据中心设电力限制

快速阅读: 比利时电网运营商Elia考虑限制数据中心电力分配,以防其他用户受影响。自2022年以来,数据中心电力需求激增,2034年预留容量超计划两倍。目前数据中心耗电占全国4%,预计2035年将增至10%以上。 比利时电网运营商Elia正 […]

发布时间:2025年10月23日
荣耀YOYO智能体一键领券,Magic8系列轻松比价购物

荣耀YOYO智能体一键领券,Magic8系列轻松比价购物

快速阅读: 荣耀发布自进化AI原生手机Magic8系列,YOYO智能体实现自动领券、比价等功能,简化购物流程,提升用户体验,覆盖购物、美食、出行等多场景。 10 月 15 日,荣耀发布了首款自进化 AI 原生手机 —— 荣耀 Magic8 […]

发布时间:2025年10月23日
阿里Qwen升级Deep Research:一键生成报告、网页及播客

阿里Qwen升级Deep Research:一键生成报告、网页及播客

快速阅读: 阿里巴巴Qwen团队升级Deep Research工具,集成网页版Qwen Chat,提供研究至发布的全流程体验。新功能支持生成研究报告、交互式网页和多说话者播客,涵盖代码生成、图像渲染和语音合成功能,用户可直接使用无需配置基础 […]

发布时间:2025年10月23日
亚马逊测试AI配送眼镜,包裹导航与风险检测一镜完成

亚马逊测试AI配送眼镜,包裹导航与风险检测一镜完成

快速阅读: 亚马逊开发AI智能眼镜,提升送货司机配送效率与安全性,集成AI传感、计算机视觉等功能,支持自动调光与处方镜片定制,正在北美测试并将逐步推广。 【AIbase 报道】亚马逊周三宣布,正为旗下送货司机开发一款 AI 智能眼镜 ,旨在 […]

发布时间:2025年10月23日
通用汽车明年起搭载Google Gemini AI助手,提升驾驶体验

通用汽车明年起搭载Google Gemini AI助手,提升驾驶体验

快速阅读: 通用汽车宣布将在其2015年及以后车型中集成Google Gemini驱动的AI助手,提供导航、消息发送等服务,强调用户体验和隐私保护,标志着汽车行业智能化新阶段。 通用汽车周三在纽约 GM Forward 大会上宣布,将从明年 […]

发布时间:2025年10月23日