AI巨头豪赌规模法则，数百亿美元押注未来

快速阅读: OpenAI CEO萨姆·阿尔特曼推动AI规模定律，认为模型智能随资源增加而提升，促进行业投资超大型数据中心等设施，但历史显示规模定律并非总有效，如塔科马海峡大桥倒塌和摩尔定律局限。

OpenAI首席执行官萨姆·阿尔特曼或许是人工智能热潮中最知名的人物之一，这一热潮自2022年推出ChatGPT以来加速发展。他热衷于规模定律，这些广受赞誉的经验法则将人工智能模型的大小与其能力联系起来，推动了人工智能行业竞相购买强大的计算机芯片、建造超大型数据中心，甚至重新开放关闭的核电站。

正如阿尔特曼在今年早些时候的一篇博文中所言，这种观点认为，人工智能模型的“智能”大致等于用于训练和运行它的资源的对数——这意味着通过指数级增加涉及的数据量和计算能力，可以稳步提高性能。规模定律首次在2020年被观察到，并在2022年进一步完善，适用于大型语言模型（LLMs）。对于工程师来说，它们提供了一个简单的公式，告诉他们下一个模型应该多大，以及可以预期的性能提升。

随着人工智能模型越来越大，规模定律会继续适用吗？人工智能公司正在押注数百亿美元赌定这一点——但历史表明情况并非总是如此简单。

规模定律不仅限于人工智能

规模定律非常有用。例如，现代空气动力学就是建立在其基础上的。利用称为巴克ingham π定理的优雅数学方法，工程师们发现了如何通过确保一些关键数字匹配，将风洞或测试盆地中的小型模型与全尺寸飞机和船只进行比较。这些规模概念几乎影响了所有飞行或浮动物体的设计，以及工业风扇和泵的设计。

另一个著名的规模概念支撑了硅芯片革命的繁荣时期。摩尔定律认为，微芯片上的晶体管数量大约每两年翻一番，帮助设计者创造了我们今天拥有的小巧而强大的计算技术。

但有一个陷阱：并非所有的“规模定律”都是自然法则。有些纯粹是数学上的，可以无限期地适用。另一些则是拟合数据的线，在偏离测量或设计时的情况太远时，就不再适用了。

当规模定律失效时

历史上充满了规模定律失效的痛苦教训。一个经典的例子是1940年塔科马海峡大桥的倒塌。该桥是通过将适用于较小桥梁的方法放大到更长更细的桥梁上设计的。工程师假设相同的规模论点仍然成立：如果以前某个刚度与桥长的比例有效，那么这次也应该有效。

然而，中等风速引发了一种称为气弹性颤振的意外不稳定性。桥面自我撕裂，大桥在开通四个月后坍塌。

同样，“微芯片制造定律”也有其失效日期。几十年来，摩尔定律（晶体管数量每两三年翻一番）和丹纳德缩放定律（更多的小晶体管以相同功率更快运行）一直是芯片设计和行业路线图的可靠指南。然而，当晶体管小到可以用纳米测量时，这些整齐的缩放规则开始与物理极限发生冲突。当晶体管门缩小到只有几原子厚时，它们开始漏电并表现出不可预测的行为。操作电压也无法再降低，否则会被背景噪声淹没。最终，缩小不再是前进的方向。尽管芯片仍然变得更强大，但现在是通过新设计而不是仅仅缩小尺寸实现的。

成为未来的一部分

注册接收SingularityHub关于突破性技术和远见卓识者的顶级故事。

100%免费。

无垃圾邮件。

随时退订。

自然法则还是经验法则？

阿尔特曼庆祝的语言模型规模曲线是真实存在的，到目前为止，它们极其有用。它们告诉研究人员，只要给模型足够多的数据和计算能力，模型就会不断改进。它们还显示早期系统并不是根本受限——只是没有投入足够的资源。

但这些无疑是拟合数据的曲线。它们更像是微芯片设计中使用的有用经验法则，而非空气动力学中使用的派生数学规模定律——这意味着它们可能不会永远适用。语言模型的规模规则不一定编码现实问题，如高质量训练数据的可用性限制或让人工智能处理新任务的难度——更不用说安全约束或建设数据中心和电网的经济困难。没有任何自然法则或定理保证“智能会永远扩展”。

投资于这些曲线

到目前为止，人工智能的规模曲线看起来相当平滑——但财务曲线却另当别论。

德意志银行最近根据贝恩资本的估计警告称，人工智能领域存在高达8000亿美元的资金缺口，这反映了AI预期收入与维持当前增长所需的芯片、数据中心和电力投资之间的巨大差异。摩根大通则估计，整个AI行业每年可能需要约6500亿美元的收入，才能在计划建设的人工智能基础设施上获得适度的10%回报率。

我们仍在探索支配前沿大型语言模型（LLM）的规律。实际情况可能会继续遵循当前的扩展规则，或者新的瓶颈——数据、能源、用户的支付意愿——可能会改变这一趋势。奥尔特曼认为，LLM的扩展规律将继续有效。如果真是这样，那么建立巨大的计算能力是值得的，因为收益是可以预测的。然而，银行日益加剧的不安提醒我们，某些扩展故事可能会像塔科马纳罗斯桥一样：在一个环境中呈现出美丽的曲线，但在下一个环境中却隐藏着不愉快的惊喜。

本文由《对话》杂志在知识共享许可下重新发布。阅读原文。 Nathan Garland 是布里斯班格里菲斯大学的应用数学和物理学讲师及研究员，研究兴趣包括数学、物理和高等教育。

(以上内容均由Ai生成)