阿里云开源Wan2.2-Animate，动作生成新突破

快速阅读: 阿里云发布Wan2.2-Animate动作生成模型，支持动作模仿和角色扮演，提升动态内容创作效率，性能优于现有模型，已开源供下载体验。

近日,阿里云正式宣布通义万相全新动作生成模型 Wan2.2-Animate 的开源,这一模型的推出将为短视频创作、舞蹈模板生成和动漫制作等领域带来极大便利。用户可以通过 GitHub、HuggingFace 和魔搭社区轻松下载模型及相关代码,此外,还可以利用阿里云的百炼平台调用 API,或在通义万相官网直接体验该模型的强大功能。

Wan2.2-Animate 模型是在之前的 Animate Anyone 模型基础上进行全面升级的成果。在人物一致性和生成质量等方面都有了显著提升。该模型支持两种主要的应用模式:动作模仿和角色扮演。在动作模仿模式下,用户只需输入一张角色图片和一段参考视频,模型便能够将视频中的角色动作和表情迁移到用户提供的图片角色上,实现角色的动态表现。而在角色扮演模式中,模型则能够在保留原视频的动作、表情和环境的基础上,替换视频中的角色为用户提供的角色。

为了提升生成效果,通义万相团队建立了一个大规模的人物视频数据集,涵盖了说话、面部表情和身体动作等多种元素,使用通义万相图生视频模型进行后续训练。Wan2.2-Animate 的设计使得角色信息、环境信息和动作等能够被规范化到统一的表示格式,从而兼容两种推理模式。针对身体运动和面部表情,模型分别使用骨骼信号和隐式特征,结合动作重定向模块,实现高精度的动作和表情复刻。此外,为了保证完美的光照效果,团队还特别设计了一个独立的光照融合 LoRA。

在实际应用中,Wan2.2-Animate 的表现也十分亮眼。在视频生成质量、主体一致性和感知损失等关键指标上,Wan2.2-Animate 超越了许多开源模型,如 StableAnimator 和 LivePortrait,并成为当前性能 最强 的动作生成模型。尤其在用户的主观评测中,其表现甚至超过了 Runway Act-two 等闭源模型。

这一新模型的开源,将极大推动相关领域的发展,使得创作者们能够更轻松地制作出优质的动态内容。

划重点: 🌟 ** 新模型开源 **:阿里云的 Wan2.2-Animate 模型正式开源,用户可在多个平台下载和体验。

🎭 ** 两种模式 **:支持动作模仿和角色扮演,提升动态表现力与替换能力。

🚀 ** 性能优越 **:在多个关键指标上超越现有开源模型,成为动作生成领域的佼佼者。

(以上内容均由Ai生成)