腾讯发布3D重建超长程世界模型，开创VR新纪元

快速阅读: 腾讯发布HunyuanWorld-Voyager，创新视频扩散框架，通过单图生成3D点云，支持自定义路径探索，无需后处理即可实现高质量3D重建，斯坦福测试中表现优异。

近日，腾讯正式发布了HunyuanWorld-Voyager，这是一种创新的视频扩散框架，旨在通过单张输入图像生成具备世界一致性的3D点云，支持用户按自定义的相机路径进行沉浸式探索。官方表示，这是全球首个具备原生3D重建功能的超远距离世界模型，重新定义了AI驱动的VR、游戏和仿真空间智能。

该模型不仅能生成精确对齐的深度信息和RGB视频，还能在无需后处理的情况下直接用于高质量的三维重建。它可以直接输出3D格式的点云视频，无需使用COLMAP等工具，实现即时3D应用。此外，HunyuanWorld-Voyager引入了可扩展的世界缓存机制，确保任何摄像机轨迹的几何一致性，提供顶级性能。在斯坦福WorldScore测试中，该模型排名第一，在视频生成和3D重建基准测试中表现出色。

HunyuanWorld-Voyager的架构包含两个关键组件。首先是“世界一致的视频扩散”，该组件提出了一个统一的架构，能够基于已有的世界观测，同时生成准确对齐的RGB视频和深度视频序列，确保全局场景的一致性。其次是“长距离世界探索”，采用了高效的世界缓存机制，结合点云剔除和自回归推理能力，支持迭代场景扩展，并通过上下文感知的一致性技术实现平滑的视频采样。

为了训练HunyuanWorld-Voyager模型，研究团队构建了一套可扩展的数据构建引擎。这一自动化视频重建流水线能够对任意输入视频自动估计相机位姿和度量深度，无需依赖人工标注，从而实现大规模、多样化的训练数据构建。基于此流水线，HunyuanWorld-Voyager整合了真实世界采集和虚幻引擎渲染的视频资源，构建了一个包含超过10万个视频片段的大规模数据集。

在实验评估中，HunyuanWorld-Voyager在视频生成质量方面表现出色。与四种开源的相机可控视频生成方法相比，该模型在PSNR、SSIM和LPIPS等指标上均优于其他模型，证明了其卓越的视频生成质量。同时，在场景重建方面，HunyuanWorld-Voyager的生成视频在几何一致性上也表现出更好的效果。此外，HunyuanWorld-Voyager在WorldScore静态基准测试中获得最高分，证明了其在相机运动控制和空间一致性方面的优越性。这一成果不仅展示了混元世界模型的潜力，还为未来的3D场景生成技术开辟了新路径。

(以上内容均由Ai生成)