谷歌 DeepMind 部门表示，人工智能已经超越了人类知识

快速阅读: 《ZDNet》消息，DeepMind研究人员认为现有AI训练方式受限，呼吁转向“体验式学习”，让AI像人类一样积累长期经验。这种方法不仅能提升AI能力，还可能实现通用或超级人工智能，超越人类智能。

谷歌DeepMind的研究人员指出，目前人工智能模型的开发方式存在局限性，训练数据过于单一且缺乏动态变化，这限制了AI达到更高水平的能力。著名的图灵测试某种程度上已经被“突破”，但围绕最新模型是否专门为通过基准测试而设计的争议也持续存在。

在由DeepMind发布的一篇论文中，研究人员提出，应允许AI拥有某种形式的“经验”，即与世界互动以根据环境信号制定目标。此外，随着AI模型逐渐碾压每个基准测试，现在是时候进行人类评估了。DeepMind的学者David Silver和Richard Sutton在论文《体验时代来临》中提到：“一旦充分挖掘体验式学习的潜力，令人难以置信的新能力将会出现。”

Silver和Sutton是该领域的领军人物。Silver因其领导研发DeepMind的AI模型AlphaZero而在国际象棋和围棋等游戏中击败人类而闻名。Sutton则是强化学习这一AI方法的两位图灵奖获奖开发者之一。他们所倡导的方法建立在强化学习和AlphaZero的经验教训之上。

AlphaZero及其前身AlphaGo崭露头角后不久，生成式AI工具如ChatGPT登上舞台，并“抛弃”了强化学习。这一转变虽然有利也有弊，但抛弃强化学习意味着“这一过程中失去了一些关键能力”，即智能体自我发现自身知识的能力。

Silver和Sutton观察到，当前的大规模语言模型（LLMs）主要依赖于人类的预判，即人类在提示阶段想要什么。这种方法太有限了，因为人类的判断为智能体的表现设定了难以突破的上限。智能体无法发现未被人类评分者充分重视的更好策略。

此外，简短、片段化的提示交互限制了AI模型的发展空间，使其始终局限于问答模式。Silver和Sutton认为，人类数据的时代下，基于语言的AI主要集中在简短的交互片段上，智能体的目标仅限于当前的情境结果。

然而，在他们提出的体验时代中，“智能体将生活在经验之流中，而不是短暂的交互片段。”Silver和Sutton将流与人类通过一生积累的经验学习进行类比，强调智能体应该有自己的经验之流，像人类一样在长时间尺度上发展。

他们认为现有技术已经足够支持流式开发。事实上，这类初步进展已经在网络浏览AI代理中显现。最近，一波新的原型代理开始以更加通用的方式与计算机互动，采用与人类操作计算机相同的界面。

Silver和Sutton建议，当AI代理超越单纯的网页浏览时，它们需要一种与世界互动和学习的方式。他们提出，流中的AI代理将通过与AlphaZero相同的强化学习原则进行学习。机器会获得一个与其互动的世界模型，并有一套规则。

当AI代理探索并采取行动时，它会收到反馈作为“奖励”。这些奖励训练AI模型了解在特定情况下哪些行为更有价值或更无价值。Silver和Sutton认为，如果允许代理寻找它们，世界上充满了各种提供这些奖励的“信号”。

要启动人工智能代理，需要使用“世界模型”模拟。世界模型让人工智能模型进行预测，在现实世界中测试这些预测，然后利用奖励信号优化模型的真实性。随着代理在体验流中持续与世界互动，其动态模型会不断更新以修正预测误差。

Silver和Sutton依然认为人类在定义目标方面扮演重要角色，这些信号和奖励将引导代理。例如，用户可能设定一个广泛目标，如“改善我的健康状况”，奖励函数可能会返回用户心率、睡眠时间和步数的函数。

研究人员写道，具备这些长期能力的人工智能代理将作为更好的人工智能助手。它们可以长期跟踪一个人的睡眠和饮食习惯，提供不限于近期趋势的健康建议。这样的代理也可以作为教育助手，长期跟踪学生的学习情况。

科学代理可以追求宏伟目标，如发现新材料或减少二氧化碳排放。这样的代理可以在很长一段时间内分析现实世界的观察结果，开发和运行模拟，并建议现实世界的实验或干预措施。

研究人员建议，“思考”或“推理”人工智能模型的到来，如Gemini、DeepSeek的R1和OpenAI的o1，可能会被经验代理超越。推理代理的问题在于，当它们产生冗长的关于答案步骤的输出时，会模仿人类语言，并且人类思维可能受限于其固有假设。

Silver和Sutton相信，流式体验将生成如此多关于世界的信息，以至于它远远超出当前用于训练人工智能的维基百科和Reddit数据总量。基于流的代理甚至可能超越人类智能，预示通用人工智能或超级智能的出现。

研究人员写道：“经验数据将在规模和质量上超越人为生成的数据。”这种范式转变，伴随着强化学习算法的进步，将在诸多领域解锁超越人类能力的新功能。

(以上内容均由Ai生成)