Character AI联手耶鲁推出Ovi，实现音画同步新突破

快速阅读: Character AI 与耶鲁大学联合开发的 Ovi 技术，采用双骨干交叉模态融合架构，实现音画实时互动与完美同步，打破传统生成方式，团队构建高质量数据集支持其训练与应用。

近日,Character AI 与耶鲁大学的研究团队联合推出了一款名为 Ovi 的新型音画同步视频生成技术。这一开源项目标志着音频和视频生成技术的一次重大突破,打破了以往音画生成的传统方式。

Ovi 采用了一种创新的双骨干交叉模态融合架构,将音频和视频视为一个不可分割的整体。在这个系统中,音频和视频的处理过程是并行的,彼此之间进行深度交流,从而实现了音画的完美同步。这一设计理念彻底改变了以往先生成画面再添加声音或反之的做法,解决了音画不同步的问题。

在 Ovi 的架构中,有两个功能相同的分支,分别负责处理视频和音频。这两个分支采用了相同的扩散变换器架构,使得音频与视频在生成过程中能够直接互动,消除了不必要的参数和计算开销。这种实时的信息交互使得 Ovi 能够精准地学习音频和视频之间的对应关系,例如嘴唇运动与发音之间的精确匹配。

为了确保音频和视频在时间上的精确对齐,Ovi 引入了一种名为旋转位置嵌入的技术。通过数学缩放,音频和视频的时间步点实现了完美匹配,确保了在生成过程中二者能够同步出现。此外,Ovi 在处理用户输入时,也使用了统一的文本提示策略,以提高生成效果的准确性和丰富性。

在数据集的构建上,Ovi 团队设计了复杂的处理流程,确保了训练数据的多样性和高质量。他们利用音视频对的数据集和纯音频数据集相结合的方式,为模型提供了全面的学习基础。这种严谨的训练方案为 Ovi 的成功奠定了坚实的基础。

github:https://github.com/character-ai/Ovi 划重点: 🌟 Ovi 是 Character AI 与耶鲁大学联合开发的一款开源音画同步视频生成技术。

🎥 采用双骨干交叉模态融合架构,实现音频与视频的实时互动和完美同步。

📊 团队构建了高质量、多样化的数据集,以支持 Ovi 的训练和应用。

(以上内容均由Ai生成)