全新开源语音模型 Maya1：实现实时、富有表现力的文本转语音

快速阅读: Maya Research 发布了 30 亿参数的文本转语音模型 Maya1，支持实时生成富有表现力的音频，结合自然语言描述与文本输入，支持多种情感标签，适用于助手、游戏、播客等，完全开源。

Maya Research 最近发布了 Maya1，这是一款拥有 30 亿参数的文本转语音模型。该模型能够将文本和简短描述转化为可控且富有表现力的语音，并能够在单个 GPU 上实现实时运行。Maya1 的核心功能在于捕捉真实的人类情感和精确的声音设计。

Maya1 的操作界面有两个输入：自然语言语音描述和需要朗读的文本。例如，用户可以输入“20 多岁的女性，英式口音，充满活力，清晰的发音”，或者“恶魔角色，男性声音，低音调，沙哑的音色，慢节奏”。模型会结合这两种信号生成符合内容和描述风格的音频。此外，用户还可以在文本中插入情感标签，如 <笑>、<叹气>、<低语> 等，超过 20 种情感可供选择。

Maya1 输出的音频为 24 kHz 单声道，并支持实时流媒体，这使其非常适合用于助手、互动代理、游戏、播客及直播内容。Maya Research 团队声称，该模型的性能超过了众多顶级的专有系统，同时完全开源，遵循 Apache 2.0 许可证。

在架构上，Maya1 是一个仅解码器的变换器，采用了类似 Llama 的结构。它不直接预测原始波形，而是通过名为 SNAC 的神经音频编码器预测编码。整个生成流程包括文本处理、编码生成和音频解码，能够有效提高生成效率并便于扩展。

Maya1 的训练数据来自互联网规模的英语语音语料库，旨在学习广泛的声学覆盖和自然的连贯性。随后，它还在一个经过精心挑选的专有数据集上进行了微调，该数据集包含经人类验证的语音描述和多种情感标签。

为了在单个 GPU 上进行推理和部署，Maya1 推荐使用 16 GB 及以上的显存卡，例如 A100、H100 或 RTX4090。此外，Maya Research 团队还提供了一系列工具和脚本，方便用户进行实时音频生成和流媒体支持。

huggingface: https://huggingface.co/spaces/maya-research/maya1

划重点:

🎤 Maya1 是一个 30 亿参数的开源文本转语音模型，能够实时生成富有表现力的音频。

💡 该模型结合自然语言描述和文本输入，支持多种情感标签，提升语音表现力。

🚀 Maya1 可在单个 GPU 上运行，并提供多种工具以支持高效的推理和部署。

(以上内容均由Ai生成)