OpenAI推出GPT-Realtime，支持图像输入，AI交互再升级

快速阅读: OpenAI发布GPT-Realtime模型，具备多模态输入、低延迟和高表达力，支持图像输入和远程通信，优化指令遵循，成本降低20%，推动语音AI市场发展。

OpenAI 推出最新语音模型 GPT-Realtime，这款多模态语音 Agent 模型凭借强大的推理能力、图像输入支持和优化的指令遵循功能引起行业热议。GPT-Realtime 在语音交互方面取得突破，并通过集成图像输入、远程 MCP 和 SIP 电话呼叫等功能，为开发者提供更智能、更灵活的语音 Agent 解决方案。

GPT-Realtime 是 OpenAI 至今最先进的语音到语音模型，专为生产级语音 Agent 设计，采用单一模型直接处理和生成音频，显著降低了传统语音交互中的延迟问题。与传统语音交互系统需要串联语音转文本（STT）、文本推理和文本转语音（TTS）多个模型不同，GPT-Realtime 通过端到端架构保留了语音的语调、情感和口音等细微差别，带来更加自然、流畅的对话体验。该模型支持多种模态输入，包括文本、音频和图像，标志着 OpenAI 在多模态 AI 领域的重大突破。

GPT-Realtime 在智力、推理和理解能力上表现出色，尤其擅长处理复杂交互场景。其核心亮点包括：

– 非语言信号识别：模型能敏锐捕捉笑声、停顿等非语言线索，提升交互的自然度和人性化体验。

– 语言切换与语气调整：支持在对话中无缝切换语言，并根据场景需求调整语气，如“专业客服”或“热情引导”，满足多样化应用需求。

– 高精度推理：在 BigBenchAudio 基准测试中，GPT-Realtime 的推理准确率达到 82.8%，比前代模型（65.6%）大幅提升，展现了强大的逻辑处理能力。

– 指令遵循优化：在 MultiChallenge 音频基准测试中，指令遵循准确率从 20.6% 提升至 30.5%，确保模型能严格遵循开发者设定的复杂指令，例如逐字朗读法律声明或处理字母数字序列。

GPT-Realtime 的发布带来了多项创新功能，进一步扩展了语音 Agent 的应用场景：

– 图像输入支持：模型能够处理图像输入并描述其内容，为语音交互增添视觉上下文，适用于教育、客户支持等场景。

– 远程 MCP 与 SIP 电话呼叫：支持远程 Model Context Protocol (MCP) 和 Session Initiation Protocol (SIP)，开发者可将 GPT-Realtime 集成至电话系统或外部工具，实现更广泛的实时交互。

– 上下文精细控制：模型支持可重用提示和会话修剪功能，开发者可精确管理对话上下文，优化成本和性能。

OpenAI 还下调了 Realtime API 的价格，音频输入每百万 token 降至 32 美元，音频输出每百万 token 降至 64 美元，分别降低 20%，为开发者提供更经济的解决方案。相比传统语音交互 pipeline，GPT-Realtime 通过单模型处理大幅降低延迟和成本，助力企业在客户支持、个人助理和教育等领域部署高效语音 Agent。

GPT-Realtime 的发布进一步加剧了语音 AI 市场的竞争。Anthropic、Meta 和 Mistral 等公司近期也在加速布局语音技术，例如 Anthropic 的 Claude 语音模式和 Mistral 的 Voxtral 模型。OpenAI 通过 GPT-Realtime 的低延迟、高表达力和多模态支持，巩固了其在语音 AI 领域的领先地位。业内分析认为，该模型的图像输入和通信集成功能将推动语音 Agent 在企业级应用的普及，特别是在客服中心和实时翻译等场景。

OpenAI 表示，GPT-Realtime 是其多模态战略的重要一步，未来将进一步扩展至视频等模态，为开发者提供更全面的 AI 交互工具。结合 OpenAI 近期推出的 Agents SDK，开发者只需几行代码即可将现有文本应用升级为语音交互应用，极大降低了开发门槛。预计 GPT-Realtime 的开放性和高性能将加速语音 Agent 在全球范围内的商业化落地。

GPT-Realtime 凭借卓越的多模态能力、优化的指令遵循和低成本优势，为语音 AI 领域树立了新标杆。OpenAI 通过整合图像输入和通信功能，不仅提升了语音 Agent 的实用性，也为开发者打造了更灵活、高效的开发环境。这一发布无疑将推动 AI 交互技术迈向新的高度，值得行业持续关注。

API 地址：https://platform.openai.com/docs/guides/realtime

(以上内容均由Ai生成)