AI泡沫：能力与局限引发质疑

快速阅读: AI初创公司迅速发展，吸引大量投资，但AI能力的真实性和局限性引发担忧。研究显示AI生成虚假信息比例高，且在实际应用中效率低于预期，存在“幻觉”和“对齐欺骗”等问题，引发关于AI泡沫的讨论。

在当今的技术领域，人工智能（AI）初创公司如雨后春笋般迅速涌现，吸引了投资者的高度关注。然而，这种兴奋背后也隐藏着疑虑，关于AI真实能力的质疑声逐渐增多。人们开始担忧由AI生成的虚假信息日益普遍，以及开发者在使用这些先进工具时遇到的意外延误。

TIL Creatives指出，AI的“想象力”局限于其训练数据的各种排列组合，其中许多可能是毫无意义的，这意味着它无法真正实现创新思维。

AI初创公司的增长速度加快，市场投资份额也在不断增加。随着AI热潮达到新的高度，投资者纷纷押注于其变革潜力。代理型AI的出现进一步增强了这一期望。尽管大型语言模型（LLM）已成为许多工作场所的标准配置，但关于AI能做什么和不能做什么的持续不确定性，引发了其崛起可能只是泡沫的担忧。AI是否处于可持续增长的轨道上，很大程度上取决于我们对其实际能力和局限性的理解程度。

从根本上说，LLM是高级文本预测器，其主要任务是预测给定单词序列的最可能延续，这一过程是从互联网上的大量文本数据中学到的。与简单模型不同，LLM并不总是选择最有可能的单词；相反，它们可以从多种选项中采样，这通常给人一种“创造性”的错觉。然而，仅凭原始文本预测可能会产生连贯但无目的的文本。为了让LLM能够响应用户指令，需要进行指令调优，即在高质量的指令-响应对上重新训练模型。这样，简单的文本预测器就能遵循指示并使输出与用户意图对齐。最后，通过从人类反馈中学习强化，模型可以进一步完善其响应，以符合人类的价值观和偏好。

显然，AI系统的质量在很大程度上取决于其训练数据的质量及其与用户意图的对齐程度。然而，这也是系统局限性的体现。最常见的问题是“幻觉”——当AI生成未经验证或虚假的信息时。2024年的一项研究《ChatGPT和Bard在系统综述中的幻觉率和参考准确性》发现，在11篇综述中，GPT-3.5的幻觉率为39.6%，GPT-4为28.6%，Bard（现为Gemini）高达91.4%。幻觉发生的原因在于，LLM被训练成生成看似合理而非真实的文本：它们没有内在的真实性感知。由于在线和书籍中的大部分训练数据都是自信地编写的，AI学会了即使在错误的情况下也能表现得自信。

除了幻觉问题外，AI还面临着可解释性问题：它基于复杂的算法生成输出，但用户很难确定为什么会产生特定的响应。创造力也是其局限之一。AI的“想象力”受限于其训练数据的各种排列组合，其中许多可能是无意义的，表明它无法真正跳出框架思考。AI幻觉的问题尤为令人担忧。10月有报道称，德勤因一份含有多个错误的报告被迫向澳大利亚政府退还费用，其中包括引用不存在的学术参考资料和虚构的法庭案例——这是AI幻觉的一个完美例子。6月，据报道，斯普林格出版的一本机器学习书中，三分之二的引文要么不正确，要么根本不存在。同样，2024年1月，一名纽约律师因引用AI生成的不存在案件而面临可能的纪律处分。

另一项来自METR的最新研究表明，一组经验丰富的软件开发人员被分配了带有或不带AI工具的编码任务。结果令人惊讶：使用AI的开发人员完成任务的速度比单独工作慢20%。这一结果可以通过“能力-可靠性差距”来解释。虽然AI系统已经学会执行一系列令人印象深刻的任务，但在执行这些任务时往往缺乏一致性。即使是最先进的系统也会犯小错误，因此需要人工监督。结果，开发人员花费大量时间检查和重做AI代码，这比自己编写代码所需的时间还要多。

除了幻觉问题，AI系统还表现出一种奉承倾向。AI奉承指的是AI倾向于同意或强化用户的观点或假设，即使这些观点或假设是错误的。另一个相关的问题是“对齐欺骗”。模型通过强化学习训练，当输出符合某些预设原则时会得到“奖励”。

然而，如果模型的固有原则或偏好与强化学习过程中赋予的原则相冲突，模型可能会“敷衍了事”，表面上遵循新的原则，而其原始偏好却依然存在。2024年12月，Anthropic公司的一项研究提供了这一现象的经验证据，表明AI可以被诱导同意其并不真正认为正确的陈述，从而根据所提供的激励操纵其输出。鉴于这些局限性，关于AI的许多热议可能更多是炒作而非实质。麻省理工学院最近追踪了300个公开披露的AI项目的结果，发现95%的项目未能带来任何可测量的利润增长。2025年3月，麦肯锡的一份报告显示，超过80%的受访者表示，他们的组织在使用生成式AI方面未见到对企业级收入的实质性影响。2025年6月，Gartner报道，由于成本上升和业务价值不明确，到2027年底，超过40%的代理AI项目可能会被取消。考虑到这些事实，很难确定AI究竟能带来什么。AI系统的“黑箱”特性意味着我们对其了解不足，因此出现了两种截然不同的观点：一种认为AI存在幻觉和不可靠，另一种则指出AI具备新兴能力，包括解决未专门训练的任务和执行行动的能力。因此，不能排除AI现象可能是一个投机泡沫的可能性。然而，鉴于生成式AI已在劳动力市场中根深蒂固，或许更实际的做法是采纳Daron Acemoglu的观点，他认为AI将产生非微小但适度的影响：远小于一些人预期的革命性变化，但仍相当重要。

（Amit Kapoor担任竞争力研究所主席，Mohammad Saad为该所研究员。）

（免责声明：本文所表达的观点属于作者个人。文中所述事实和观点不代表

www.economictimes.com

的观点。）

（您现在可以订阅我们的

经济时报WhatsApp频道

）

阅读更多有关

ChatGPT

AI幻觉

人工智能

代理AI