李沐团队发布Higgs Audio v2 开创语音合成新时代

快速阅读: 据相关媒体最新报道，李沐团队发布开源TTS大模型Higgs Audio v2，支持多语言、韵律调整和声音克隆，性能优于GPT-4o-mini-tts，代码已开源。

记者获悉，近期，知名AI创业者李沐及其团队Boson.ai发布了全新开源文本转语音(TTS)大模型——Higgs Audio v2。这款模型不仅能将文本转换成语音，还具备多语言对话生成、韵律自动调整和声音克隆等多项功能，标志着语音合成领域的一次重大突破。

Higgs Audio v2的多模态能力是其强大之处，它不仅能处理文本信息，还能理解和生成语音，完成复杂任务。例如，它可以创作歌曲并以特定声音演唱，同时配以背景音乐，这是以往TTS技术难以实现的。

该模型基于1000万小时的语音数据训练而成，在多项基准测试中表现出色。根据EmergentTTS-Eval测试，Higgs Audio v2在“情绪”和“问题”两个类别中的胜率分别达到了75.7%和55.7%，远超GPT-4o-mini-tts。在传统TTS测试中，该模型同样表现出色，成为行业标杆。

技术上，Higgs Audio v2采用了先进的数据处理方法，每秒25帧的语音信号通过离散化音频分词器转化为编号序列，从而准确捕捉语义与声学特征。模型架构利用了预训练的大型语言模型，增强了其对语言和上下文的理解能力。此外，该模型还具备上下文学习能力，能够通过简单提示快速适应新任务，实现零样本的语音克隆。

在应用方面，Higgs Audio v2能够实现实时语音聊天，提供低延迟和自然的情感表达，适合用于虚拟主播和实时语音助手。同时，它还能生成自然对话和旁白，为有声读物、互动培训及动态故事讲述提供支持。最后，其语音克隆功能可以复制特定人物的声音，为娱乐和创意领域带来新机遇。

目前，Higgs Audio v2的代码已全部开源，用户可在GitHub和Hugging Face平台上获取，并支持本地安装。用户需准备GPU版PyTorch或使用Docker简化安装过程。

(以上内容均由AI生成)