昆仑万维发布SkyReels-A3模型，实现语音对口型照片生成

快速阅读: 昆仑万维推出SkyReels-A3模型，基于DiT视频扩散模型，实现音频驱动数字人创作，支持任意时长视频生成，优化文本提示、动作交互和运镜控制，适用于广告、直播、音乐MV等场景。

昆仑万维集团宣布推出其 最新 技术成果SkyReels-A3模型,这是一款基于DiT(Diffusion Transformer)视频扩散模型的音频驱动数字人创作工具。SkyReels-A3的发布标志着数字内容创作领域的一大进步,它能够实现任意时长的全模态音频驱动数字人创作,为用户带来全新的体验。

SkyReels-A3模型的核心功能是让静态图像或视频“活”起来,通过上传人像图片和相应的语音,即可使图片中的人物按照语音内容开口说话或唱歌。此外,该模型还支持创作新的视频内容,用户只需提供人像图片、语音和文字提示,即可生成按照要求状态进行表演的视频。SkyReels-A3还能够为现有视频“改台词”,自动匹配新的口型、表情和表演,保持画面连贯。

该模型在文本提示词输入、动作交互自然度、运镜控制以及视频输出时长等方面都进行了优化和提升。SkyReels-A3支持长达60秒的单分镜视频输出,多分镜支持无限时长,满足不同创作需求。昆仑万维还针对线上直播等实际应用场景进行了特定优化,提高了视频生成的一致性和特定交互动作的自然度和清晰度。

SkyReels-A3的推出,不仅为广告、直播带货等商业应用提供了强有力的技术支持,也为音乐MV、电影片段或演讲视频等艺术创作提供了更多可能性。昆仑万维通过引入基于ControlNet结构的镜头控制模块,实现了帧级别精准运镜控制,预设了8种常见的运镜参数,用户可以根据需要选择相应运镜,并且每个运镜的强度可0–100%连续调节,生成专业的运镜效果。

SkyReels-A3模型的发布,预示着数字内容创作将变得更加高效和便捷。昆仑万维集团通过这一创新技术,为电影制作、虚拟直播、游戏开发与教育内容创作等领域提供了低门槛、低成本、高保真的AI技术制作方案。SkyReels-A3的推出,代表了声音即影像的可能性,为个性化、交互式内容的创作提供了前所未有的高效与便捷,也许下一个刷屏的爆款视频就来自你的灵感。

SkyReels-A3项目主页: https://skyworkai.github.io/skyreels-a3.github.io/ SkyReels 官网地址: https://www.skyreels.ai/home SkyReels系列开源模型地址: https://huggingface.co/Skywork

(以上内容均由Ai生成)