巨人网络发布三大音视频多模态生成模型，实现“真实歌曲可用”

快速阅读: 巨人网络AI Lab联合清华大学SATLab、西北工业大学推出三项音视频多模态生成技术成果，涵盖音乐驱动视频生成、零样本歌声转换及歌声合成，显著提升音乐视频制作质量和效率，相关技术将在GitHub等平台开源。

巨人网络AI Lab近日与清华大学SATLab、西北工业大学合作，推出了三项音视频领域的重要多模态生成技术成果：音乐驱动的视频生成模型YingVideo-MV、零样本歌声转换模型YingMusic-SVC以及歌声合成模型YingMusic-Singer。这些成果展示了团队在音视频多模态生成技术上的最新进展，并将陆续在GitHub、HuggingFace等平台上开源。

YingVideo-MV模型仅需“一段音乐加一张人物图像”即可生成音乐视频片段。该模型通过对音乐的节奏、情绪和内容结构进行多模态分析，确保镜头运动与音乐高度同步，具备推、拉、摇、移等镜头语言，并利用长时序一致性机制有效缓解长视频中常见的人物“畸变”和“跳帧”现象。

在音频生成方面，YingMusic-SVC模型主打“真实歌曲可用”的零样本歌声转换能力，通过针对真实音乐场景的优化，有效抑制了伴奏、和声和混响的干扰，显著降低了破音与高音失真的风险，为高质量的音乐再创作提供了稳定的技术支持。

YingMusic-Singer歌声合成模型支持在给定旋律下输入任意歌词，生成发音清晰、旋律稳定的自然歌声。该模型的主要特点是能够灵活适应不同长度的歌词，并支持零样本音色克隆，大幅提升了AI演唱在创作中的灵活度与实用性，有效降低了音乐创作的门槛。

(以上内容均由Ai生成)