AI

OpenAI o3豪夺大模型棋王,40轮血战胜人类大师

发布时间:2025年8月23日    来源:szf
OpenAI o3豪夺大模型棋王,40轮血战胜人类大师

快速阅读: Kaggle Game Arena举办国际象棋积分赛,OpenAI o3以1685分领先,Grok 4和Gemini 2.5 Pro紧随其后,DeepSeek R1等并列第五,比赛展示AI模型在国际象棋领域的最新进展。

Kaggle Game Arena举办的国际象棋积分赛结果揭晓,OpenAI o3以1685分的人类等效Elo分领先,Grok 4和Gemini 2.5 Pro紧随其后。DeepSeek R1、GPT-4.1、Claude Sonnet-4和Claude Opus-4并列第五。

经过40轮激烈对决,仅靠文本输入的国际象棋AI模型成绩出炉。各模型在无工具、无验证器的情况下进行较量,每组配对进行了40场比赛,最终形成类似围棋等运动项目的Elo排名。

OpenAI o3独占鳌头,Grok和Gemini位列第二、第三。其中,o3的估计人类Elo分为1685分,接近人类大师水平2200分;Grok 4的估计人类Elo分为1395分,表现不俗;Gemini 2.5 Pro的估计人类Elo分为1343分,稍逊一筹。

此外,DeepSeek R1、GPT-4.1、Claude Sonnet-4和Claude Opus-4并列第五。这是GameArena首次举办的AI国际象棋比赛,o3最终夺冠,证明了其实力。

此前,Kaggle举办了首届AI国际象棋表演赛,展示了o3、Grok 4、Gemini 2.5、DeepSeek R1等通用模型在国际象棋方面的能力。虽然这些模型取得了显著进步,但淘汰赛的偶然性较大,难以准确衡量模型的真实水平。因此,Kaggle正式发布了Game Arena平台上的国际象棋文本排行榜。

排行榜基于所有参赛模型之间的循环赛结果,每对模型进行20场白棋和20场黑棋的对决,共40场比赛。参赛模型不仅包括上周表演赛的8个模型,还增加了更多模型,以提供更全面、更可靠的评估结果。

Elo分数采用标准的Bradley-Terry算法计算,模型与L0到L3不同等级的国际象棋Stockfish引擎对弈,通过线性插值法估算人类等效Elo分。Stockfish是一款免费且开源的国际象棋引擎,自2020年起赢得多项顶级赛事,目前是世界上最强的CPU国际象棋引擎,估计的Elo等级为3644。

除了Elo分数,排行榜还增加了“平均每回合Token数”和“平均每回合成本”等指标,反映模型在性能和效率之间的平衡。排行榜存在一些限制,如仅限于国际象棋、严格的超时限制和抽样随机性。

Kaggle还发布了包含可移植棋谱(PGN)和模型公开推理过程的数据集,旨在评估和比较通用语言模型的战略推理能力。该数据集代表了特定模型版本在收集时点的性能,Kaggle计划定期更新排行榜,以跟踪AI模型在战略规划、推理和其他认知能力方面的进步。

国际象棋文本排行榜是Kaggle公开基准测试平台Game Arena的首个项目,将严谨的科学方法与观赏性的竞赛体验相结合。排行榜的发布有助于超越数据污染问题,考察模型在高压环境下的表现,并为通用人工智能的发展提供参考。

(以上内容均由Ai生成)

你可能还想读

芯纬内部人士抛售超10亿美元股票引发警报

芯纬内部人士抛售超10亿美元股票引发警报

快速阅读: 纳斯达克上市公司CoreWeave因内部人士大量抛售股票受关注,10月交易超10亿美元,股价承压下跌,引发投资者对该公司信心的质疑。 纳斯达克上市的CoreWeave (CRVW)因内部人士大量抛售股票而受到广泛关注。10月,一 […]

发布时间:2025年10月24日
升腾首席分析与AI官:用数学背景解决医疗问题

升腾首席分析与AI官:用数学背景解决医疗问题

快速阅读: 安森斯首席分析与人工智能官卡提克·拉贾强调,人工智能是一类问题而非单一事物,需识别并应用正确方法解决。他领导团队利用AI优化医疗流程,提高决策效率,同时注重人才培养和道德领导。 卡提克·拉贾,这家覆盖16个州的大型医疗系统首席分 […]

发布时间:2025年10月24日
格拉斯利宣布法官使用AI致法庭命令出错,实施新政

格拉斯利宣布法官使用AI致法庭命令出错,实施新政

快速阅读: 美国参议院司法委员会主席格拉斯利宣布收到法官们关于AI导致法院命令出错的回应,法官温盖特和尼尔斯承认错误并实施新政策,确保命令准确性,同时法院行政办公室成立AI咨询工作组,发布临时指导方针。 美国参议院司法委员会主席查克·格拉斯 […]

发布时间:2025年10月24日
AI视频生成系统不断进步,ChatGPT创始人更新发展计划

AI视频生成系统不断进步,ChatGPT创始人更新发展计划

快速阅读: 本周,顶尖开发者公布人工智能视频生成系统的最新进展,包括即将推出的安卓应用。该技术融合多种特性,引发艺术与伦理讨论,但仍不断进步,输出效果惊人。 基于人工智能的视频生成系统集多种特性于一身。的确,它们引发了关于艺术、创作者角色及 […]

发布时间:2025年10月24日
美法官承认职员用AI起草错误命令

美法官承认职员用AI起草错误命令

快速阅读: 美国地方法官温盖特承认其法律助理使用AI程序起草了有误的法院命令,引发争议。温盖特表示将加强审查流程,避免类似错误。参议员格拉斯利呼吁制定更明确的AI使用政策。 密西西比州的一名联邦法官承认,其工作人员使用人工智能起草了一份有误 […]

发布时间:2025年10月24日
ChatGPT遭遇重大故障,用户报告服务中断

ChatGPT遭遇重大故障,用户报告服务中断

快速阅读: ChatGPT遭遇重大技术故障,OpenAI确认“高频率错误”,用户反馈广泛。故障始于周四上午11时(美国东部时间),Downdetector数据显示问题激增。 受连续强降雨影响,南部多地出现洪水,相关部门紧急启动防汛响应。Ch […]

发布时间:2025年10月24日
OpenAI推新浏览器Atlas,挑战Google Chrome

OpenAI推新浏览器Atlas,挑战Google Chrome

快速阅读: OpenAI推出ChatGPT Atlas浏览器,挑战谷歌Chrome,集成AI功能助用户高效完成任务,计划近期增加标签组和广告拦截器等新特性。 萨姆·阿尔特曼的OpenAI继续将其生成式AI模型整合到全球大多数人的日常工具—— […]

发布时间:2025年10月24日
ChatGPT短暂故障后恢复,医疗咨询模式引关注

ChatGPT短暂故障后恢复,医疗咨询模式引关注

快速阅读: 医学研究人员报告AI医疗失误案例,患者因咨询ChatGPT致溴化物中毒精神错乱。专家长期担忧此问题,OpenAI推出专门医疗建议模式应对。 几周前,一位医学研究人员报告了一起由AI引发的医疗失误案例,详细描述了一名患者因咨询Ch […]

发布时间:2025年10月24日