谷歌 DeepMind 发布 SIMA2，智能体在3D虚拟世界中表现卓越

快速阅读: 谷歌 DeepMind 发布 SIMA2，采用 Gemini2.5 Flash Lite 模型，任务完成率提升至 62%，能理解多种指令形式，具备自我学习和改进能力，与 Genie3 结合可在全新环境中完成任务。

谷歌 DeepMind 最近发布了 SIMA2，旨在测试通用智能体在复杂 3D 游戏世界中的表现。SIMA2（可扩展指令多世界智能体）在原有基础上进行了升级，采用 Gemini 模型，能够更好地理解目标、解释计划，并通过自我学习在不同环境中不断进步。

SIMA2 的前身 SIMA1 于 2024 年问世，当时它通过渲染图像和虚拟键盘鼠标进行控制，学习了 600 多项语言指令，任务完成率约为 31%，而人类玩家的完成率则高达 71%。SIMA2 在保留相同界面的基础上，使用 Gemini2.5 Flash Lite 作为核心推理引擎，使其不仅能够执行指令，更成为与玩家互动的游戏伙伴。

SIMA2 的架构将 Gemini 整合为核心部分，通过接收视觉观察和用户指令，推导出高层目标并生成相应操作。这种新的训练模式使智能体能够解释自己的意图，回答有关当前目标的问题，并展示其对环境的推理过程。在 DeepMind 的评估中，SIMA2 的任务完成率提升至 62%，几乎达到人类玩家的水平。

SIMA2 还扩展了指令渠道，不仅能够理解文本指令，还能处理语音、图形甚至表情符号。在一次演示中，用户要求 SIMA2 找到“像熟透的番茄一样颜色的房子”，它能够推理出“熟透的番茄是红色的”，并顺利找到目标。

自我改进也是 SIMA2 的一大亮点。在初期阶段使用人类的游戏演示后，智能体进入新游戏，完全依靠自己的经验进行学习。Gemini 模型为智能体生成新任务并评分，这使得后续版本在许多之前失败的任务上也能成功，而无需额外的人类演示。

最后，DeepMind 将 SIMA2 与 Genie3 结合，通过单一图像或文本提示生成互动 3D 环境，展示了智能体在全新环境中如何识别物体并完成指定任务。这标志着通用智能体向更高阶的现实世界机器人发展的重要一步。

官方博客链接：https://deepmind.google/blog/sima-2-an-agent-that-plays-reasons-and-learns-with-you-in-virtual-3d-worlds/

划重点：

🌟 SIMA2 整合了 Gemini2.5 Flash Lite 模型，使智能体具备更高的推理和计划能力。

📈 SIMA2 的任务完成率提升至 62%，接近人类玩家的水平，展示出显著的性能改进。

🛠️ 通过自我改进机制和 Genie3 环境生成，SIMA2 展现了在全新场景中的适应能力和通用性。

(以上内容均由Ai生成)