奥特曼称ChatGPT是意外，Karpathy透露7年前已有设想
快速阅读: 2022年，研究员Hunter Lightman加入OpenAI，参与MathGen团队，专注于提升AI数学推理能力。2023年，该团队发布研究成果，AI在国际数学奥林匹克竞赛中夺得金牌，标志推理能力重大突破。2024年，首个AI推理模型o1问世，引发硅谷人才争夺战。OpenAI致力于打造能处理复杂任务的通用AI智能体，引领未来AI发展。
历史往往都是由无数「意外和巧合」所塑造的。
2022年,当研究员Hunter Lightman加入 OpenAI 时,他的同事们正忙于引爆全球的 ChatGPT ——这无疑是史上用户增长最快的现象级产品。
然而,Lightman却悄悄投身于一个看似不起眼的团队: MathGen。
他们的任务只有一个:训练AI模型去攻克 高中级别的数学竞赛难题 。
如今,这个曾经默默无闻的MathGen团队, 竟被视为OpenAI现在能够问鼎行业的真正原因! 2023年5月31日 OpenAI发布研究博客《Improving Mathematical Reasoning with Process Supervision》,正式提出过程监督(process supervision)训练的效果。
并在作者署名中出现Hunter Lightman等与MathGen team有关的研究人员。该博客是首次与MathGen团队相关的官方发布之一。
同日,奥特曼于X发布祝贺消息——这是首次由OpenAI亲口确认MathGen Team的官方存在。
他们锻造的 「AI推理能力」 ,正是那项终极技术——AI智能体(AI Agent)的心脏! 这种智能体,将像人类一样,在电脑上独立完成你交办的一切任务! 「那时候,AI的数学推理能力简直一塌糊涂!」Lightman回忆道,「我们的使命,就是让它学会 真正的思考 。」 从「笨学生」到「奥数金牌」的进化! 平心而论,今天的OpenAI模型远未完美——它们依然会「一本正经地胡说八道」,那些所谓的AI智能体在复杂任务面前也常常束手无策。
但是,一场巨变正在发生! OpenAI最顶尖的模型,其数学推理能力已实现惊天逆袭! 就在最近,OpenAI的一个模型在全球最顶尖的国际数学奥林匹克(IMO)竞赛中, 夺得金牌! OpenAI坚信,这种强大的推理能力,将可以 复制到任何领域 ! 这正是他们构建通用AI智能体的基石,是他们从创立之初就魂牵梦绕的终极梦想! 如果说,ChatGPT的成功是一场「无心插柳的惊世之作」,一个本想低调测试却意外引爆全球的奇迹。
那么, AI智能体,则是OpenAI精心布局数年、深思熟虑的战略结晶! 「未来,你只需要向电脑下达指令,它就会为你搞定一切!」 OpenAI的CEO奥特曼在2023年的开发者大会上宣告,「这种能力,就是AI智能体。它带来的颠覆,将是空前绝后的!」 奥特曼的预言能否成真?世界还在观望。但OpenAI已然出手! 2024年秋,其首个AI推理模型 o1 横空出世,一鸣惊人! 不到一年,缔造这一神话的21名核心研究员,瞬间成为硅谷疯抢的顶尖人物! 扎克伯格不惜血本,开出 上亿美元 的天价薪酬,从OpenAI挖走了5名o1团队的核心成员,组建Meta的「超级智能」军团。
其中一位,清华校友赵晟佳,更是被直接任命为Meta超级智能实验室的 首席科学家 ! 一场围绕「AI大脑」的人才战争,已然白热化! 强化学习:引爆智能革命的古老技艺 OpenAI这场推理革命的背后,是一种被称为强化学习(RL)的古老技术在焕发新生。
它就像一个严厉的教练,在模拟环境中不断对AI的选择进行奖惩,从而教会AI何为「正确」。
这项技术并不新鲜。
早在2016年,谷歌DeepMind的 AlphaGo 就曾用它击败世界围棋冠军,名震天下。
彼时,OpenAI的 元老级员工 Andrej Karpathy已开始构想,如何用强化学习(RL)打造一个能熟练操作电脑的AI智能体。
然而,从理想到现实,OpenAI足足走了数年。
2018年,OpenAI推出了开创性的 大语言模型 GPT系列。
论文地址:https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf 它靠着海量数据和GPU集群,成了文本处理的天才,并最终孕育了ChatGPT。
但它的软肋也同样致命—— 连基础数学都搞不定 。
直到2023年,石破天惊的突破降临! 一个代号「Q*」(后被称为「 Strawberry 」)的项目,将 大语言模型、强化学习(RL)和一种名为「测试时计算」 的技术三位一体,融会贯通! 它赋予了模型额外的思考时间,让AI在给出答案前,能反复规划、推演和验证。
「思维链」(CoT)技术由此诞生!AI在处理闻所未闻的数学难题时,表现脱胎换骨! 「我亲眼目睹了模型开始真正地推理,」研究员El Kishky激动地说,「它会发现自己的错误,然后回溯修正,它甚至会表现出沮丧。
那感觉,就像在阅读一个人的思想! 」 这些技术单拎出来,并非首创。
但OpenAI的鬼斧神工之处,在于将它们以前所未有的方式组合,直接催生了后来的王牌—— o1 。
那一刻,OpenAI恍然大悟: 这种规划与事实核查能力,不正是驱动AI智能体的完美引擎吗? 「我们攻克了一个我苦思冥想数年的难题!」Lightman说,「那是我科研生涯中,最心潮澎湃的瞬间!」 引爆推理:一场自下而上的豪赌 拥有了AI推理模型,OpenAI的雄心被彻底点燃。
他们发现了两条全新的进化路径: 1. 在模型训练后期,投入更多的算力! 2. 在回答问题时,给予模型更多的思考时间和算力! 「OpenAI这家公司,思考的从来 不只是当下 ,而是 未来如何将优势无限扩大! 」Lightman说。
2023年「Strawberry」项目突破后,OpenAI火速组建了一支由研究员Daniel Selsam领衔的 「AI智能体」特攻队 。
他们的目标只有一个: 将这项新能力推向极致! 起初,公司内部甚至没有严格区分「推理模型」和「AI智能体」。
共同的目标只有一个: 打造能完成复杂任务的超级AI! 最终,这支特攻队的工作汇入了更宏大的 o1 模型项目,由 联合创始人 Ilya Sutskever等一众顶级大佬亲自挂帅。
为了打造o1,OpenAI必须押上最宝贵的资源——顶尖人才和GPU。
在OpenAI,资源从不靠论资排辈,而靠实力说话。
研究员必须用惊人的突破来换取公司的全力支持。
「 在OpenAI,所有研究创新都源于一线,是自下而上的。
」Lightman解释道。
「当我们把o1的惊人证据摆在桌上时,整个公司立刻达成共识:就是它了,全力冲锋!」 许多前员工认为,正是OpenAI对通用人工智能(AGI)近乎偏执的追求,才催生了这场推理革命。
他们心无旁骛,不为短期产品所动,将所有宝押在了打造最强AI大脑上。这种不计成本的豪赌,在其他AI巨头那里几乎不可能。
这个决策,如今回看,极具远见! 到2024年底,许多AI巨头发现,传统的「堆数据、堆算力」模式,回报越来越低。
而AI领域最激动人心的脉搏,正源自「AI推理」的进步! AI究竟会不会「思考」?一场哲学的终结 AI真的在「推理」吗?它真的拥有了「思想」吗? 自o1问世以来,ChatGPT的界面里充满了 「正在思考」、「正在推理」 等 拟人化 词汇,仿佛在宣告一个新纪元的到来。
当被问及这个问题时,研究员Kishky基巧妙地回答:「我们是在教模型如何最高效地利用算力,去找到答案。
如果从这个计算机科学的角度定义,那没错,它就是在推理。
」 Lightman的看法则更加务实和「结果导向」: 「 别管它内部是怎么运作的! 如果一个模型能解决极其困难的问题,那它就已经掌握了达成目标所必需的、近似于推理的能力。」 他总结道,「 我们可以称之为推理,因为它看起来就像那么回事。但这都只是手段,我们真正的目的,是为全人类打造强大到不可思议的AI工具! 」 OpenAI的科学家们坦言,人们大可不必认同他们对「推理」的定义。
事实上,批评者早已涌现。但他们认为,争论名词远不如模型本身的能力重要。
AI研究员Nathan Lambert打了个绝妙的比方: AI推理就像飞机。
飞机的灵感来自飞鸟, 但其飞行原理与鸟类截然不同 。
这丝毫不影响飞机的伟大,它依然能带我们飞向天空。
AI的「思考」,或许也是如此——灵感源于人脑,机制却全然不同,但这并不妨碍它实现同样、甚至超越人类的结果。
终极战场:让AI智能体搞定主观任务 今天市场上的AI智能体,在编码等规则明确的领域已大显身手。
OpenAI的 Codex 能帮程序员处理琐碎代码,而Anthropic的模型更是在Cursor等AI编程工具中备受追捧,成为首批让用户心甘情愿付费的AI智能体。
然而,真正的挑战在于主观世界! 当你想让AI帮你网购、或找个长期停车位时,通用的AI智能体(如ChatGPT Agent)往往会让你失望——它们反应迟钝,还尽犯些低级错误。
这正是AI智能体走向普及的最后一道天堑:如何教会AI处理那些没有标准答案、 充满主观色彩的任务 ? 「这 本质上是个数据问题 ,」Lightman一针见血,「我们当前最激动人心的研究,就是如何让模型在不可验证的任务上进行有效训练。我们已经找到了一些线索!」 OpenAI的另一位核心研究员Noam Brown透露,他们已掌握全新的通用 强化学习 技术,能教会AI那些无法用简单对错来衡量的技能。
那块IMO奥数金牌,正是用这种方法拿下的! 夺金的AI模型,是一种更先进的系统:它能同时派出多个AI智能体,分头探索不同的解题思路,最后优中选优。
如今,谷歌和xAI的最新模型也纷纷采用了这种「群体智能」策略。
「AI的数学能力会越来越强,其他推理领域也一样。」Brown对此信心爆棚,「进步的速度快得令人难以置信,我看不出任何放缓的迹象!」 GPT-5的野望:通往万能AI的终极图景 这些突飞猛进的技术,很可能将在OpenAI即将发布的 GPT-5 模型中全面展现。
OpenAI的目标只有一个: 用GPT-5的绝对优势,捍卫自己在AI智能体领域的王权! 但他们的野心不止于此。
Kishky基描绘了一幅终极图景:未来的AI智能体将能凭直觉理解你的意图,无需你繁琐地设置。
它会自主判断何时调用何种工具、需要投入多少「思考」,就像一个心有灵犀的超级助理。
这,才是ChatGPT的最终形态:一个能为你代劳互联网上一切事务,并且懂你心意的全能AI智能体! 这与今天的ChatGPT相比,已是天壤之别。但毫无疑问,OpenAI的研究正全速驶向这个未来。
然而, 赛道已拥挤不堪! 几年前的绝对王者,如今已强敌环伺。
DeepSeek、谷歌、Anthropic、xAI、Meta…… 个个虎视眈眈。
问题不再是OpenAI能否实现其智能体的未来,而是—— 它能否在群雄逐鹿的血战中,第一个冲过终点。
参考资料: https://techcrunch.com/2025/08/03/inside-openais-quest-to-make-ai-do-anything-for-you/ 本文来自微信公众号 “新智元” ,作者:新智元,编辑:定慧、好困,36氪经授权发布。
(以上内容均由Ai生成)
