新AI模型将照片转化为可探索3D世界，挑战与机遇并存

快速阅读: Voyager通过几何反馈循环增强空间一致性，改善了AI视频生成器的3D重建能力，但360度旋转时仍面临挑战。腾讯技术报告揭示其工作原理，包括同步生成彩色视频和深度信息及使用“世界缓存”机制。

大多数AI视频生成器，如Sora，生成的画面虽然每个都看似合理，但并不试图跟踪或保持空间一致性。相比之下，Voyager经过训练，能够识别并重现空间一致性模式，并引入了几何反馈循环。在生成每一帧时，它会将输出转换为3D点，再将这些点投影回2D，供后续帧参考。

这种技术迫使模型将其学习到的模式与自身先前输出的几何一致性投影进行匹配。尽管这比标准视频生成器的空间一致性要好得多，但它仍然是由几何约束指导的模式匹配，而非真正的3D“理解”。因此，该模型可以保持几分钟的一致性，但在进行360度旋转时遇到困难——小的模式匹配误差会在多个帧中累积，最终导致几何约束无法维持连贯性。

据腾讯的技术报告显示，该系统主要由两部分协同工作。首先，同步生成彩色视频和深度信息，确保二者完美匹配——当视频显示一棵树时，深度数据确切地知道那棵树有多远。其次，使用腾讯称为“世界缓存”的机制——这是一个由先前生成帧创建的不断增长的3D点集。在生成新帧时，从新的摄像角度将这个点云投影回2D，以生成部分图像，显示基于先前帧应该可见的内容。模型利用这些投影作为一致性检查，确保新帧与已生成的内容相匹配。

此次发布的Voyager加入了来自不同公司的世界生成模型行列。谷歌于2025年8月宣布的Genie 3，可以从文本提示生成720p分辨率、24帧/秒的互动世界，支持实时导航数分钟。Dynamics Lab的Mirage 2提供基于浏览器的世界生成服务，允许用户上传图片并将其转化为具有实时文本提示的游戏环境。尽管Genie 3侧重于训练AI代理且未公开，Mirage 2强调用户生成内容用于游戏，而Voyager则针对视频制作和3D重建工作流程，具备RGB-深度输出能力。

(以上内容均由Ai生成)