AI

OpenAI o3力压群雄夺冠,40轮激战问鼎大模型棋王

发布时间:2025年8月24日    来源:szf
OpenAI o3力压群雄夺冠,40轮激战问鼎大模型棋王

快速阅读: Kaggle首次举办AI国际象棋比赛,OpenAI o3以1685分领先,Grok 4和Gemini 2.5 Pro紧随其后。比赛采用40轮积分制,无工具辅助,排行榜基于Elo评分系统,提供模型性能和效率指标。

Kaggle Game Arena举办国际象棋积分赛后,OpenAI o3以人类等效Elo 1685分的成绩领先,Grok 4和Gemini 2.5 Pro紧随其后。DeepSeek R1和GPT-4.1、Claude Sonnet-4、Claude Opus-4并列第五。

此次比赛采取了严格的积分制,Elo榜单成为衡量实力的重要依据。经过40轮激烈对抗,各大AI模型仅凭文本输入进行对决,无工具、无验证器辅助。每组配对进行超过40场比赛,形成了类似围棋等项目的Elo排名体系。

OpenAI o3以人类等效Elo 1685分的成绩位居榜首,Grok 4和Gemini 2.5 Pro分别以1395分和1343分位列第二和第三。值得注意的是,DeepSeek R1和GPT-4.1、Claude Sonnet-4、Claude Opus-4并列第五。

这是Kaggle首次举办的AI国际象棋比赛,o3最终夺冠,证明了其实力。此前,Kaggle举办了首届AI国际象棋表演赛,展示了o3、Grok 4、Gemini 2.5、DeepSeek R1等通用模型在国际象棋方面的表现。这些模型进步显著,观众从中获得了许多乐趣,例如发现大语言模型特别喜欢西西里防御开局。

然而,淘汰赛的偶然性较大,无法严格衡量模型的真实水平。因此,Kaggle正式发布了Game Arena平台上的国际象棋文本排行榜。排行榜基于所有参赛模型之间的循环赛结果,每对模型进行20场白棋和20场黑棋的对决,共计40场比赛。

排行榜采用标准的Bradley-Terry算法计算Elo分数,通过与不同等级的国际象棋Stockfish引擎对弈,估算模型的人类等效Elo评分。Stockfish是一款免费且开源的国际象棋引擎,自2020年以来,它在顶级国际象棋引擎锦标赛和Chess.com计算机国际象棋锦标赛中屡获佳绩,截至2025年8月,其Elo等级为3644。

除了Elo分数,排行榜还增加了“平均每回合Token数”和“平均每回合成本”等指标,以反映模型在性能和效率之间的权衡。排行榜存在一些限制,包括仅限于国际象棋、严格的超时限制和抽样随机性。

Kaggle还提供了游戏回放,观众可以在YouTube播放列表中观看带解说的表演赛,排行榜上也有更多对局回放。此外,Kaggle发布了包含可移植棋谱(PGN)和模型公开推理过程的数据集,旨在评估和比较当今通用语言模型的战略推理能力。

Kaggle认为,国际象棋文本输入基准测试有助于超越数据污染问题,测试模型在高压环境下的表现,并为通用人工智能的发展提供有价值参考。未来,Game Arena将推出更多游戏的排行榜,为AI模型的能力评估提供更全面的基准。今天的国际象棋文本排行榜只是第一步。

(以上内容均由Ai生成)

关键词: Openai大模型棋王

你可能还想读

软银收购DigitalBridge加码AI算力布局

软银收购DigitalBridge加码AI算力布局

快速阅读: 据彭博社报道,美国数字桥公司加速布局亚太数字基建,整合通信塔与数据中心资源,以满足AI算力激增带来的低延迟、高带宽需求,强化其全球基础设施地位。 近日,美国数字桥公司(DigitalBridge)在拓展亚洲数字基础设施布局方面动 […]

发布时间:2025年12月8日
贝莱德:AI投资将驱动美国经济韧性增长

贝莱德:AI投资将驱动美国经济韧性增长

快速阅读: 据贝莱德发布消息称,美国经济正迈入由大规模人工智能投资驱动的资本密集型阶段,预计2030年全球AI相关资本支出将达5至8万亿美元,重塑产业格局并影响供应链与劳动力市场。 日前,全球知名资产管理公司贝莱德在其最新发布的全球经济展望 […]

发布时间:2025年12月8日
硅谷预言:AI将重塑工作与收入

硅谷预言:AI将重塑工作与收入

快速阅读: 据最新消息,人工智能加速冲击全球就业结构,部分职业或将消失,肯尼亚试点全民基本收入项目引发隐私争议,国际社会呼吁构建适应AI时代的社会保障政策框架。 近日,人工智能技术加速渗透全球多个行业,引发对就业结构和收入模式的广泛关注。多 […]

发布时间:2025年12月8日
AI重塑广告业:从执行到智能协同

AI重塑广告业:从执行到智能协同

快速阅读: 据最新消息,广告传播机构加速转型为智能协同伙伴,依托AI优化创意系统,融合算法效率与人文共情,构建“智能+共情”双轮驱动战略,提升传播精准度与内容温度。 人工智能正加速从实验室走向实际应用,其价值日益体现在广告、媒体等行业的日常 […]

发布时间:2025年12月8日
AI推动数据分析普及,渠道伙伴机遇扩大

AI推动数据分析普及,渠道伙伴机遇扩大

快速阅读: 据最新消息,Tableau首席产品官指出AI正推动数据分析进入新阶段,聚焦对话式分析、实时洞察与语义层技术三大方向,2025年成AI应用部署关键年。 日前,数据分析企业Tableau首席产品官索南德·琼斯表示,随着人工智能技术加 […]

发布时间:2025年12月8日
欧盟报告:AI训练应借鉴Napster版权教训

欧盟报告:AI训练应借鉴Napster版权教训

快速阅读: 欧洲议会法律事务委员会发布报告,主张通过强制性法定许可制度解决AI训练数据版权争议,允许使用公开作品并支付统一版税,以平衡创新激励与权利人补偿,避免“选择退出”机制导致模型偏见。 日前,欧洲议会法律事务委员会发布题为《版权与人工 […]

发布时间:2025年12月8日
特朗普推AI新政,各州监管加速推进

特朗普推AI新政,各州监管加速推进

快速阅读: 据最新消息,美国科罗拉多、加州和纽约等州加速推进AI监管立法,分别聚焦算法歧视、高风险系统披露及自动化决策监管,但行业担忧各州标准不一或阻碍全国AI产业发展。 近日,美国多个州加快人工智能监管立法步伐,以应对算法偏见、数据隐私及 […]

发布时间:2025年12月8日
塔塔与英特尔携手布局半导体与AI

塔塔与英特尔携手布局半导体与AI

快速阅读: 12月8日消息,印度塔塔集团与英特尔达成战略合作,将共同推进半导体制造、封装测试及AI计算在印发展,强化本土产业链并把握人工智能市场机遇。 今日,印度塔塔集团与英特尔公司宣布达成战略合作,双方将共同推进半导体及系统制造、封装测试 […]

发布时间:2025年12月8日