阿里巴巴推出新工具，可将照片转化为视频

快速阅读: 阿里巴巴发布Wan2.2-S2V开源语音到视频模型，可从单张肖像和音频生成动画数字人，支持多角色场景和指定手势，提供480P和720P输出，适用于社交媒体到长篇电影项目。

阿里巴巴发布了新的开源语音到视频模型，能够从单张肖像和音频片段生成动画数字人。这款工具面向希望制作逼真虚拟形象的内容创作者和研究人员，这些虚拟形象可以讲话、唱歌或表演。

Wan2.2-S2V是阿里巴巴Wan2.2视频生成系列的新成员。开源后，阿里巴巴向开发者提供了一个系统，可以跨不同视角生成动画肖像，包括特写、半身和全身镜头。

Wan2.2-S2V采用音频驱动的动画技术，精确同步语音和动作。该模型能够处理复杂的多角色场景，并适应指定特定手势或环境元素的提示。

据阿里巴巴介绍，这将使创作者能够制作从社交媒体内容到长篇电影项目的各种视频。

该模型还提供480P和720P两种输出选项，在无需高端计算能力的情况下，生产高质量的视频，这将吸引独立创作者以及从事大型项目的专业团队。

阿里巴巴研究团队开发了一个专门针对影视场景的自定义音视频数据集。他们使用多分辨率训练方法，确保系统既能生成垂直短视频，也能生成传统宽屏输出。

Wan2.2-S2V采用帧压缩过程，将长时间的视频历史压缩成单一的潜在表示。这降低了计算开销，同时在扩展剪辑中保持一致性，阿里巴巴称这对许多视频生成系统来说是一个挑战。

通过稳定较长序列，该模型应能生成更加雄心勃勃的动画作品。

此次发布紧随Wan系列之前的开源版本，包括2月发布的Wan2.1和7月发布的Wan2.2。Wan模型在Hugging Face和ModelScope上的下载量已超过690万次。

Wan2.2-S2V现已在Hugging Face、GitHub和阿里巴巴的ModelScope平台上提供。

(以上内容均由Ai生成)