港大等三校联合推出OmniPart技术，革新3D创意设计

快速阅读: 香港大学、哈尔滨工业大学和浙江大学联合发布OmniPart技术，解决3D生成模型细节不足问题，实现部件独立且整体合理，提升3D建模精度与灵活性。

近日,中国香港大学、哈尔滨工业大学和浙江大学的研究团队联合发布了一项名为 “OmniPart” 的创新技术。这项技术致力于解决当前主流3D 生成模型在构建细节方面的不足,使得生成的3D 模型不仅外观逼真,而且具备清晰的部件结构。

现有的3D 生成模型如 DreamFusion 和 TRELLIS 等,尽管能够生成看似完整的3D 形状,但缺乏内在的零件结构,难以满足细节修改的需求。例如,在调整一个3D 角色的手臂或机械装置的齿轮时,使用这些模型就会显得十分棘手,因为它们无法提供对零件级别的精准控制。为了解决这一问题,OmniPart 的提出便是为了实现部件之间的独立性,同时又能形成一个合理的整体。

OmniPart 采用了一种创新的两阶段生成框架。

第一 阶段是结构规划,通过自回归模型与灵活的2D 部件掩码,规划出3D 部件的空间布局。自回归模型会根据已有的序列信息逐步生成各个部件的边界框,边界框的生成既灵活又高效。为了确保生成的边界框能够覆盖对应的物体部件,OmniPart 还设计了一种新颖的部件覆盖损失函数,从而提升生成效果。

在第二阶段,OmniPart 则根据 第一 阶段生成的部件布局,利用预训练的整体3D 生成器 TRELLIS 高效生成所有部件的高质量3D 表示。该阶段特别关注每个部件的语义感知和整体结构一致性,以确保生成的部件在语义上是独立的,而在结构上又能够紧密相连。此外,OmniPart 还引入了一种体素丢弃机制,进一步提升了模型的准确性与效率。

这一技术的推出,标志着3D 建模领域的一次重要进步,有望在游戏开发、动画制作等多个创意领域广泛应用。

项目:https://omnipart.github.io/ 划重点: 🌟 OmniPart 技术实现了3D 模型部件的独立性,使得创意设计更加灵活。

🔍 采用自回归模型与部件掩码的两阶段生成框架,提升3D 建模的精确度。

🚀 创新机制如体素丢弃,增强了模型在复杂场景中的应用效果。

(以上内容均由Ai生成)