AI

昆仑万维开源 Matrix-3D 大模型

发布时间:2025年8月12日    来源:szf
昆仑万维开源 Matrix-3D 大模型

快速阅读: 7月18日,北京,昆仑万维在SkyWork AI技术发布周上推出Matrix-3D,突破3D生成技术局限,支持单图生成高质量全景视频和可漫游3D空间,涵盖游戏、影视、具身智能等领域。

7月18日,北京,昆仑万维在SkyWork AI技术发布周上推出Matrix-3D,这一全新3D世界生成大模型标志着3D生成技术的重大突破。

Matrix-3D旨在解决现有3D场景生成技术在视角范围、几何一致性和视觉质量上的局限。传统方法通常依赖多视角输入,难以从单一图像中生成完整且可探索的3D世界。而Matrix-3D整合了全景视频生成和三维重建技术,可以从单张图像开始,生成高质量且具有一致轨迹的全景视频,并重建出可漫游的3D空间。

Matrix-3D包含几个核心模块,确保其在生成能力上的优势:

1. **轨迹引导的全景视频生成**:通过使用场景Mesh渲染图作为条件输入,训练视频扩散模型,生成符合相机轨迹的全景视频,提高视频在空间结构上的一致性,减少遮挡错误和图像伪影。

2. **双路径全景3D重建模块**:该模块支持两种优化路径。一是通过超分辨率和3D结构优化,获取高质量的3D模型;二是基于Transformer的前馈网络,快速预测3D几何属性,实现高效重建。

3. **Matrix-Pano数据集**:该数据集规模庞大,包含116K条带有相机轨迹、深度图和文本注释的静态全景视频序列,为生成模型提供训练基础。

Matrix-3D支持用户通过文本或图像输入生成可自由探索的3D场景,主要特点包括:

1. **视角一致性**:生成的3D场景支持360度自由环视,确保内容始终一致。

2. **几何与色彩一致性**:生成的3D场景在几何关系和遮挡关系上保持准确,不同区域颜色协调统一。

3. **精准控制与范围扩展**:用户可以根据输入轨迹生成不同的3D场景,并在生成的场景基础上进行无限扩展。

Matrix-3D作为3D世界生成的重要里程碑,预计将在多个领域发挥重要作用,包括:

1. **游戏与影视制作**:快速生成高质量的3D场景,降低制作成本,提高沉浸感。

2. **具身智能**:构建可控的模拟环境,用于机器人训练和自动驾驶测试。

昆仑万维的Matrix-3D项目主页及相关技术报告现已上线,进一步推动3D生成技术的发展。

相关链接:

– GitHub: https://github.com/SkyworkAI/Matrix-3D

– HuggingFace: https://huggingface.co/Skywork/Matrix-3D

– 技术报告: https://github.com/SkyworkAI/Matrix-3D/blob/main/asset/report.pdf

– 项目主页: https://matrix-3d.github.io/

(以上内容均由Ai生成)

你可能还想读

印尼副部长呼吁谨慎使用AI进行公共沟通

印尼副部长呼吁谨慎使用AI进行公共沟通

快速阅读: 印度尼西亚通信和数字事务部副部长Nezar Patria呼吁公共关系专业人员谨慎、道德地使用AI,强调AI虽具潜力,但需人类监督与伦理责任,确保沟通质量与真实性。 雅加达(ANTARA)- 印度尼西亚通信和数字事务部副部长Nez […]

发布时间:2025年10月23日
名人及AI巨头呼吁停止追求超智能

名人及AI巨头呼吁停止追求超智能

快速阅读: 超过700名科学家、政治人物和名人呼吁暂停开发超人工智能,直至技术安全可控且获公众支持。未来生命研究所发布公开信,强调当前AI发展路径与公众期望、安全性及伦理标准脱节。 超过700名科学家、政治人物和名人,包括哈里王子、理查德· […]

发布时间:2025年10月23日
保守活动人士因谷歌AI生成虚假信息起诉谷歌

保守活动人士因谷歌AI生成虚假信息起诉谷歌

快速阅读: 保守活动人士罗比·斯塔巴克因谷歌AI系统生成关于他的虚假信息,将其诉至特拉华州法院,要求至少1500万美元赔偿。谷歌称此为Bard误判所致,已尽力处理。 保守活动人士罗比·斯塔巴克周三对谷歌提起诉讼,指控这家科技巨头的人工智能系 […]

发布时间:2025年10月23日
拉夫劳伦推出AI购物体验,个性化服务引领未来时尚

拉夫劳伦推出AI购物体验,个性化服务引领未来时尚

快速阅读: 拉尔夫劳伦与微软合作推出AI对话购物工具“Ask Ralph”,提供个性化风格灵感,强调技术应提升品牌体验而非目的本身,展现AI个性化体验趋势。 9月,拉尔夫劳伦(与微软合作)发布了“Ask Ralph”,这是一款被描述为“由人 […]

发布时间:2025年10月23日
荣耀转型AI终端生态公司,方飞详解1 x 3 x N战略

荣耀转型AI终端生态公司,方飞详解1 x 3 x N战略

快速阅读: 荣耀董事长吴晖宣布转型为AI终端生态公司,提出1 x 3 x N战略,涵盖HONOR AI Connect平台及多项赋能措施,推动AI场景化落地,涉及教育、家居、健康等多领域。 感谢IT之家网友 風見暉一 的线索投递! IT之家 […]

发布时间:2025年10月23日
微软Photos推AI绘图与智能重塑新功能

微软Photos推AI绘图与智能重塑新功能

快速阅读: 微软在其Photos应用中推出AI驱动的Restyle Image和Image Creator功能,前者可智能重塑照片风格,后者能根据描述生成高质量图像,均支持隐私保护,旨在提升图像创作体验。 微软近日在其 Photos(照片) […]

发布时间:2025年10月23日
2025新一代人工智能创业大赛启动 全球招募火热进行中

2025新一代人工智能创业大赛启动 全球招募火热进行中

快速阅读: 网易传媒启动2025新一代人工智能创业大赛,聚焦AI新技术与应用,设三大赛道,面向A轮前团队,奖金总额100万元,提供多维指导与资源支持。 2025年10月22日,网易传媒正式启动 “2025新一代人工智能创业大赛”,面向全球创 […]

发布时间:2025年10月23日
谷歌量子芯片Willow实现可验证量子优势,性能超13000倍

谷歌量子芯片Willow实现可验证量子优势,性能超13000倍

快速阅读: 谷歌发布量子芯片Willow,成功运行“量子回声”算法,实现首个可验证的量子优势,比超级计算机快13,000倍,为新药研发和材料科学开辟新途径。 继量子计算研究团队荣获诺贝尔物理学奖之后,谷歌再次取得突破性进展。当地时间10月2 […]

发布时间:2025年10月23日