OpenAI推出实时API，AI语音助手沟通更似真人

快速阅读: OpenAI发布面向生产的“实时API”，采用GPT-Realtime模型，支持语音生成和处理，无需文本转换，提高对话自然度，新增Cedar和Marin声音，优化用户体验，价格降低20%。

OpenAI 发布了面向生产环境的“实时 API”，标志着公司在语音交互技术领域迈出重要一步。该 API 主要面向为客户提供支持、教育或个人生产力等实际应用构建语音助手的公司和开发者，其核心组件是全新的 GPT-Realtime 模型。该模型能够直接生成和处理语音，无需传统文本转换步骤，从而实现更快、更自然的对话。

全新 GPT-Realtime 模型在技术上实现了多项突破。它可以捕捉并理解笑声等非语言线索，在同一句话中流畅切换不同语言，并根据指令调整语气，例如“以友好的法国口音”或“快速而专业”地说话。此外，该模型新增了两种声音：Cedar 和 Marin，并对现有声音进行了优化，进一步提升用户体验。

在基准测试中，GPT-Realtime 表现优异，其准确率在 Big Bench Audio 上达到82.8%（高于65.6%），在 MultiChallenge 上达到30.5%（高于20.6%），在 ComplexFuncBench 上达到66.5%（高于49.7%）。这些数据表明，新模型在处理复杂指令和多语言任务方面有显著进步。

新版 API 简化了工具集成，使模型能更可靠地选择和使用正确的工具及参数。开发者现在可以通过 SIP 和远程 MCP 服务器连接外部服务，并使用可重复使用的提示来保存不同配置。此外，图像输入功能也已上线，用户可在对话中发送屏幕截图或照片，模型可以引用并理解图像中的内容，例如读取文本或回答相关问题。开发者可以灵活控制模型所见内容范围。

对于成本控制，新 API 允许开发者设置令牌限制并精简长会话，同时 GPT-Realtime 的价格降低了20%。目前，每百万音频输入令牌价格为32美元，每百万输出令牌为64美元，缓存输入令牌价格为每百万0.40美元。

在安全与隐私方面，OpenAI 强调该 API 能检测并终止违反其政策的对话，但也指出开发者应自行添加额外安全保障。在数据隐私方面，OpenAI 提供了专门选项，允许欧盟用户选择在欧盟境内存储数据，并为企业用户制定特殊隐私规则，确保数据安全合规。

(以上内容均由Ai生成)