政府宣布新措施,支持中小企业发展
快速阅读: 全球顶尖AI公司投入巨资开发大型语言模型(LLM),但越来越多专家认为LLM接近极限,难以进化为人工通用智能(AGI)。OpenAI的GPT-5未达预期,引发行业泡沫担忧。研究者转向世界模型等新方法,认为这才是实现AGI的更好路径。
全球顶尖人工智能技术人才多年来投入数十亿美元开发大型语言模型(LLM),这些模型支撑着最常用的聊天机器人。然而,许多公司背后的最终目标是开发人工通用智能(AGI),这是一种理论上能够像人类一样推理的AI。现在,越来越多的人担心,LLM可能已经接近其极限,距离成为能够演进为AGI的技术还很遥远。
长期以来持有这种观点的AI思想家曾被视为悲观主义者。然而,自从OpenAI发布GPT-5以来,尽管有所改进,但并未达到OpenAI自己的预期,这些悲观主义者开始站出来表示:“我早就说过。”其中最著名的是AI领导者兼畅销书作家加里·马库斯。自GPT-5发布以来,他将批评推向了新的高度。
“任何一个有学术诚信的人都不应该再相信纯粹的规模扩展能让我们实现AGI,”他在本月早些时候的一篇博客文章中写道,指的是通过积累数据和数据中心以达到通用智能的昂贵策略。“甚至一些科技兄弟也开始意识到‘2027年实现AGI’是营销手段,而非现实。”
以下是为什么有些人认为LLM并不像宣传的那样强大,以及一些AI研究人员认为更好的通向AGI的路径。
OpenAI目前是全球最有价值的初创公司,已筹集约600亿美元,讨论中的二次股份出售可能使公司的估值超过5000亿美元,这将使其成为世界上最有价值的私营公司。公司声称,ChatGPT每周用户数达到7亿,OpenAI的产品在很大程度上引领了AI竞赛的步伐。
然而,存在几个问题。首先,也是对投资者最重要的,OpenAI尚未盈利,短期内也看不到盈利的迹象。其次,公司的创始使命是以造福全人类的方式开发AGI,但越来越多的人感到,这项改变世界的技术,支撑着AI的大部分炒作,比许多工程师和投资者最初想象的要远得多。
其他公司也在搭乘这波炒作的顺风车。谷歌、Meta、xAI和Anthropic都在投入数十亿美元扩大其LLM,这意味着招聘人才、购买数据和建设庞大的数据中心。支出与收入之间的不平衡,以及炒作与现实之间的差距,引发了AI行业可能是一个即将破裂的泡沫的警报。OpenAI首席执行官山姆·阿尔特曼本人也有此担忧。
“投资者整体是否对AI过度兴奋?我的看法是肯定的。AI是不是很长时间以来最重要的事情?我的看法也是肯定的,”他本月早些时候对记者说。
虽然其他科技领袖,如前谷歌CEO埃里克·施密特,对此不太确定,但上周科技股市场1万亿美元的大跌表明,这种担忧普遍存在。周五,美联储主席杰罗姆·鲍威尔表示,他正在考虑9月份降息,市场因此有所恢复。
现在,所有人都热切期待英伟达周三的财报,该公司生产的芯片支持LLM,是AI热潮中的“镐头和铲子”公司。如果公司的财报显示出放缓迹象,并且前景更加谨慎,将会引发新一轮的担忧,而AI悲观主义者会再次提醒大家他们多年来一直在说的话:LLM并不是通往AGI的道路。
今年6月,苹果研究人员发布了一篇题为《思考的幻象》的论文。他们的发现听起来非常人性化:高级推理模型在面对更复杂的任务时会放弃。然而,他们的结论是,这些模型依赖模式识别而非逻辑思维,研究人员认为不应相信它们能演进为AGI。“声称当前架构的扩展将自然地产生通用智能的说法显得过于草率,”研究人员写道。
这篇论文在网上遭到广泛嘲笑,主要是因为苹果尽管规模庞大且资源丰富,但在AI竞赛中被认为远远落后。然而,对于怀疑者来说,这是一大安慰。
哥伦比亚大学统计学和政治科学教授安德鲁·盖尔曼认为,LLM展示的文本理解水平未能达到预期。他在2023年的一篇博客文章中写道,LLM与人类的表现差异就像“慢跑和跑步”的区别。
Geoffrey Hinton 写道:“我可以不停地慢跑,思考各种事情,感觉不到自己在耗费多少力气,我的腿几乎自动上下移动……但如果需要跑步,那就需要集中注意力。”这位被誉为“人工智能教父”的诺贝尔奖得主不同意这种观点。“通过训练模型预测下一个词,实际上是在强迫它理解。”他在2013年接受《纽约客》采访时说。
大语言模型(LLM)的另一个潜在问题是它们容易误解词语含义,产生幻觉,并传播错误信息。因此,目前大多数采用AI技术的公司仍需人类参与其中。今年早些时候,德国的一组计算语言学研究人员调查了11种LLM在30种语言中的“现实世界”幻觉率,发现所有语言的平均幻觉率在7%至12%之间。
近年来,OpenAI等领先的人工智能公司一直认为,通过向LLM提供更多信息可以缓解这些问题。OpenAI研究者在2020年的一篇论文中指出,“模型性能主要取决于规模。”然而,最近研究人员开始质疑LLM是否已经遇到瓶颈,在扩大规模时面临收益递减的问题。
Meta公司的首席AI科学家Yann LeCun领导着该公司超级智能部门的一个实验室,他主要关注下一代AI方法而非LLM。“大多数有趣的问题扩展性极差,”他在4月的新加坡国立大学演讲中表示,“不能简单地假设更多的数据和计算能力意味着更聪明的AI。”苹果公司的分析也表明,当前基于LLM的推理模型由于“模型在不同问题规模上保持算法一致性方面的基本局限性”而不一致。
Meta超级智能部门负责人Alexandr Wang似乎同样不确定。“规模是行业最大的问题,”他在去年的Cerebral Valley会议上说。即使规模有效,获取高质量数据的渠道也有限。
寻找独特数据的竞争如此激烈,以至于一些领先的人工智能公司正在突破界限——有时甚至冒着侵犯版权的风险。Meta曾考虑收购出版商Simon & Schuster作为解决方案。Anthropic在训练Claude时收集并扫描了数百万本盗版书籍,但地区法官在6月裁定这不构成合理使用。
最终,一些领先的人工智能研究者认为,语言本身是限制因素,因此LLM不是通往AGI的道路。“语言并不存在于自然界中,”斯坦福大学教授Fei Fei Li在6月的Andreessen Horowitz播客节目中说,“人类不仅生存、生活和工作,还超越语言建立了文明。”LeCun的观点类似。“我们需要能够快速学习新任务的AI系统,这些系统需要理解物理世界,而不仅仅是文本和语言,还需要具备常识、推理和规划的能力,拥有持久记忆——这些都是我们期望从智能实体中获得的东西。”他在4月的演讲中说。
Li和LeCun等研究者正在探索一种不同于LLM的方法,称为世界模型,他们认为这是通向AGI的更好路径。与大型语言模型不同,后者根据单词和短语之间的统计关系确定输出,世界模型通过模拟和学习周围的世界来做出预测。这类模型更接近人类的学习方式,而LLM依赖于人类无法访问的大量数据。
早在1971年,计算机科学家、麻省理工学院教授Jay Wright Forrester就在一篇论文中阐述了这种模型的价值。“我们每个人都在不断使用模型。每个人在私人生活和工作中都会本能地使用模型进行决策。头脑中的心理图像是模型,”他写道,“所有决策都基于模型,所有法律都基于模型,所有行政行动都基于模型。”
最近的研究发现,世界模型不仅能捕捉现实,还能模拟新的环境和情景。2018年,David Ha和Jurgen Schmidhuber两位研究人员构建了一个受人类认知系统启发的简单世界模型,用于建模假设情景以及训练代理。
研究者表示,在现实世界中训练代理更加昂贵。因此,逐步训练以模拟现实的世界模型可能有助于将策略转移回现实世界。
8月,谷歌DeepMind发布了Genie 3,这是一种世界模型,据称“突破了世界模型能实现的界限”。它可以模拟现实世界的物理属性,如火山地形或昏暗的海洋。这使AI能够基于这些真实世界的模拟做出预测。
其他想法也在开发中。神经科学模型试图模仿大脑的过程。多代理模型基于多个AI相互作用的理论,认为这更接近人类在现实生活中的运作方式。研究多代理模型的专家认为,通过这种社会交流,通用人工智能更有可能出现。
此外,还有具身AI,它将世界模型转化为物理形态,使机器人能够理解和学习周围环境。“机器人的形式多种多样。”李在6月的No Priors播客中说。
这些替代方案,尤其是世界模型,甚至让马库斯这位著名的大型语言模型批评者看到了希望。他称世界模型为认知模型,并敦促AI公司从大型语言模型转向这些替代方案。
“在某些方面,大型语言模型远超人类,但在其他方面,它们连蚂蚁都不如。”马库斯在6月的一篇博客文章中写道,“没有强大的世界认知模型,它们永远不应被完全信任。”
(以上内容均由Ai生成)