昆仑万维开源 Matrix-3D 大模型
快速阅读: 7月18日，北京，昆仑万维在SkyWork AI技术发布周上推出Matrix-3D，突破3D生成技术局限，支持单图生成高质量全景视频和可漫游3D空间，涵盖游戏、影视、具身智能等领域。
7月18日，北京，昆仑万维在SkyWork AI技术发布周上推出Matrix-3D，这一全新3D世界生成大模型标志着3D生成技术的重大突破。
Matrix-3D旨在解决现有3D场景生成技术在视角范围、几何一致性和视觉质量上的局限。传统方法通常依赖多视角输入，难以从单一图像中生成完整且可探索的3D世界。而Matrix-3D整合了全景视频生成和三维重建技术，可以从单张图像开始，生成高质量且具有一致轨迹的全景视频，并重建出可漫游的3D空间。
Matrix-3D包含几个核心模块，确保其在生成能力上的优势：
1. **轨迹引导的全景视频生成**：通过使用场景Mesh渲染图作为条件输入，训练视频扩散模型，生成符合相机轨迹的全景视频，提高视频在空间结构上的一致性，减少遮挡错误和图像伪影。
2. **双路径全景3D重建模块**：该模块支持两种优化路径。一是通过超分辨率和3D结构优化，获取高质量的3D模型；二是基于Transformer的前馈网络，快速预测3D几何属性，实现高效重建。
3. **Matrix-Pano数据集**：该数据集规模庞大，包含116K条带有相机轨迹、深度图和文本注释的静态全景视频序列，为生成模型提供训练基础。
Matrix-3D支持用户通过文本或图像输入生成可自由探索的3D场景，主要特点包括：
1. **视角一致性**：生成的3D场景支持360度自由环视，确保内容始终一致。
2. **几何与色彩一致性**：生成的3D场景在几何关系和遮挡关系上保持准确，不同区域颜色协调统一。
3. **精准控制与范围扩展**：用户可以根据输入轨迹生成不同的3D场景，并在生成的场景基础上进行无限扩展。
Matrix-3D作为3D世界生成的重要里程碑，预计将在多个领域发挥重要作用，包括：
1. **游戏与影视制作**：快速生成高质量的3D场景，降低制作成本，提高沉浸感。
2. **具身智能**：构建可控的模拟环境，用于机器人训练和自动驾驶测试。
昆仑万维的Matrix-3D项目主页及相关技术报告现已上线，进一步推动3D生成技术的发展。
相关链接：
– GitHub: https://github.com/SkyworkAI/Matrix-3D
– HuggingFace: https://huggingface.co/Skywork/Matrix-3D
– 技术报告: https://github.com/SkyworkAI/Matrix-3D/blob/main/asset/report.pdf
– 项目主页: https://matrix-3d.github.io/
(以上内容均由Ai生成)
