大型语言模型：缺乏进展报告
快速阅读: 据《心灵很重要》最新报道，大型语言模型（LLMs）虽能生成流畅内容，但缺乏实际理解，易出错。尽管规模扩大和计算能力增强，其进步收益递减，且需专家后训练修正。LLMs难以在关键决策中被信赖，资源消耗巨大，既非魔法亦非威胁。
大型语言模型（LLMs）最初的设计目的是为了预测句子中的下一个单词。然而，如今它们通过在海量文本（主要是互联网上的内容）中识别出的统计模式，能够生成非常流畅的句子、段落和文章。谷歌多年来一直在研究LLMs，其中最著名的项目是LaMDA，该项目于2021年被宣布但未对外发布。谷歌的报告让人感到兴奋。2022年春天，谷歌西雅图AI团队负责人布莱斯·阿格拉·亚尔卡斯表示，他与LaMDA的对话让他相信……
几个月后，在2022年6月，谷歌计算机科学家兼基督教牧师布莱克·莱蒙向《连线》杂志透露，谷歌不允许外界测试LaMDA，也不允许内部人员未经许可分享任何细节。由于违反谷歌的保密政策，莱蒙被行政停职，并最终被解雇。
2022年11月30日，OpenAI公开发布了其基于LLM的聊天机器人ChatGPT，用户感到震惊。与ChatGPT的对话非常像是与一位超级智能的朋友交谈。你可以问ChatGPT几乎任何问题，它会用连贯的答案回应，并且经常加上多个感叹号来表达它与你交流时的热情。
马克·安德森称ChatGPT为“纯粹、绝对、难以形容的魔法”。比尔·盖茨说它的意义堪比互联网的诞生。英伟达首席执行官黄仁勋则表示：“ChatGPT是计算行业有史以来最伟大的成就之一。”两个月内，超过一亿人尝试了ChatGPT，大多数人都感到惊叹。
HAL 9000复活了吗？
不可避免地，人们开始将ChatGPT与1968年电影《2001太空漫游》中的HAL 9000进行比较。显然，计算机即将接管世界，人类应该担心自己的工作甚至生命。2023年3月22日，未来生活研究所发表了一封公开信，呼吁暂停至少六个月的LLMs开发：这封信已经由超过三万三千人签署。
5月30日，包括山姆·阿尔特曼和比尔·盖茨在内的数千名科技人士签署了由人工智能安全中心准备的一句话声明，警告称：“减轻AI导致的灭绝风险应与流行病和核战争等其他社会规模风险一起成为全球优先事项。”
很快，人们声称LLMs已经具备（或很快将具备）人工通用智能（AGI），即能够执行人类可以完成的任何智力任务的能力。2023年10月，阿尔卡斯和彼得·诺维格撰写了一篇文章，标题为《人工通用智能已经在这里》。一年后，在2024年10月29日的采访中，埃隆·马斯克表示，“我认为它将在接下来的一两年内能够做任何人类能做的事情。”2024年11月11日，OpenAI的山姆·阿尔特曼预测AGI将在2025年到来。
我们现在进入了2025年的第四个月，仍在等待。
合理的怀疑
我一直对声称LLMs在任何有意义的层面上具有智能持怀疑态度。不可否认的是，LLMs能够生成连贯的对话和几乎任何问题的清晰答案，这确实令人惊叹。然而，这是一个巨大的“但是”，LLMs不知道词语的意义，也不知道词语如何与现实世界相关联，因此容易产生毫无意义或事实错误的回答。（参见这里、这里和这里。）
预训练和扩展的局限性
从GPT 1.0到2.0和3.0的进步让一些人认为，在更大和更大的数据库上进行训练将会达到一个临界点，从而产生质量更高的LLMs（这里和这里）。事实上，最热情的观察者宣称，扩展足以达到AGI。例如，2022年5月，DeepMind的研究人员发推文说：“现在一切都关于规模！游戏结束了！”
然而，持续的改进显示出回报迅速递减。在第二本化学书上的训练不如第一本有用，而在第三、第四或第十本化学书上的训练则更少有用。实际上，互联网上的虚假信息和LLM生成的无意义内容可能会使LLMs变得不那么可靠。
另一种扩展形式是增加计算能力。一篇2022年的论文（来自谷歌、斯坦福大学、北卡罗来纳大学教堂山分校和DeepMind的16位作者）认为，增加模型中的参数数量可以从根本上改变LLMs的能力。作者将这种变化称为“涌现”：“在小规模模型中不存在但在大规模模型中存在的能力。”
作者的论点得到了数据的支持，数据显示，超过一定数量的参数后，LLMs在各种测试中的准确性加速提升。然而，这种视觉证据是由以参数数量的对数为横轴绘制的图表造成的错觉。这些图表完全符合许多已报道的规模报酬递减现象；例如，2024年11月，风险投资公司Andreessen Horowitz的联合创始人表示，所有LLM模型都达到了能力上限。
后训练的局限性
LLMs在给出事实正确答案方面变得更好，很大程度上是因为成千上万名拥有专业知识的专家正在进行广泛的后训练以纠正LLM错误。讽刺的是，那些被誉为比人类更聪明的LLMs正在被真正了解自己领域的专家纠正。这种广泛的后训练也提醒我们，LLMs不能被信任回答专家没有预料到的提示，也不能生成需要特定及时细节和涉及不确定性的答案——这是大多数重要决策的特点。
昂贵的玩具
俗话说，LLMs在芯片、冷却器和其他设备上的资源投入巨大，训练和运行它们所需的能源，以及从更有价值的任务中转移出来的人才，都是天文数字。然而，越来越明显的是，它们永远不会可靠到可以在代价高昂的复杂情况下被信任。ChatGPT和其他LLMs不会像希望的那样强大，也不会像担忧的那样可怕。
(以上内容均由Ai生成)
