小互AI · 深度解读

GPT-Realtime-2 发布：语音首次接入 GPT-5 级推理，跑分超上代 15%

OpenAI一口气发布了三个实时语音模型：GPT-Realtime-2、GPT-Realtime-Translate、GPT-Realtime-Whisper，全部今日起在 Realtime API 开放。

其中GPT-Realtime-2 是其中的主角，这是 OpenAI 第一次把“GPT-5 级推理”塞进语音模型，同时把上下文从 32K 扩到 128K，并且在不涨音频价格的前提下做完了这次升级。

  • GPT-Realtime-2：首个具备 GPT-5 级推理能力的语音模型，能在对话中推理复杂请求、并行调工具、处理打断和纠错，上下文窗口从 32K 升到 128K。
  • GPT-Realtime-Translate：实时语音翻译模型，支持 70+ 种输入语言、13 种输出语言，跟着说话人的节奏边听边译，能处理口音和专业词。
  • GPT-Realtime-Whisper：流式语音转文字模型，边说边出字，专门给实时字幕、会议纪要、客服转写这类不能等的

OpenAI 这波更新瞄的是一件事：语音不能再只是个一问一答的对话框，得变成边听边想、边调工具边干活的接口。

01

三个模型分别是什么

↔ 左右滑动查看完整表格
模型干什么怎么计费
GPT-Realtime-2实时语音对话，带 GPT-5 级推理，可调推理强度按 token，音频输入 32 / 输出 64 美元每 100 万
GPT-Realtime-Translate实时语音转语音翻译，70+ 输入语言、13 输出语言按音频时长，0.034 美元 / 分钟
GPT-Realtime-Whisper流式语音转文字，边说边出转写按音频时长，0.017 美元 / 分钟

三个模型都通过 Realtime API 调用，可以在 OpenAI Playground 直接试，免费 tier 暂不支持。

02

GPT-Realtime-2：把推理塞进语音

GPT-Realtime-2 是这次更新的主角，OpenAI 把它定位成「第一个具备 GPT-5 级推理能力的语音模型」。

之前的语音 Agent 普遍卡在一个老问题上，能听清能回答，但只要任务复杂一点、链条长一点，就会答得磕磕绊绊。GPT-Realtime-2 想解决的就是这个，它要做的不是接电话的客服，而是一边听你说一边在脑子里走推理链路的实时协作者。

这一代的核心变化是引入了可调推理强度，从 minimal、low、medium、high 一路到 xhigh 五档。

简单请求走 low 保延迟，复杂请求拨到 high 让模型多想一会儿。默认档位是 low，意味着开箱即用拿到的是省钱省延迟的版本，跑分上的强模型得自己拨上去。

跑分：96.6% vs 81.4%

OpenAI 公布了两组对比数据，都是跟上一代 GPT-Realtime-1.5 比：

•Big Bench Audio（语音推理能力）：GPT-Realtime-2 在 high 档拿到 96.6%，上一代 81.4%，提升 15.2 个百分点

•Audio MultiChallenge（多轮指令跟随）：GPT-Realtime-2 在 xhigh 档拿到 48.5%，上一代 34.7%，提升 13.8 个百分点

这两组数据是跑分用的最高档结果。

实际产品里默认是 low，开发者要么自己调高，要么接受跟跑分有差距的体验。换句话说，跑分给你看的是 high/xhigh，SDK 里默认拿到的是 low。

Zillow 实测：呼叫成功率 69% → 95%

OpenAI 给的官方案例里，数字最实在的是 Zillow。Zillow 的 AI 负责人 Josh Weisberg 的原话是：

“在我们最难的对抗性测试集上，经过 prompt 调优后，呼叫成功率从 69% 提升到了 95%，26 个百分点的跃升。GPT-Realtime-2 在 Fair Housing 合规上也明显更稳，这对我们业务很关键。”

数据要拆开看：69% → 95% 是 prompt 调优之后的成绩，不是装上就拿到的提升。

模型变强只是让你“调得动”，调到位还得工程团队自己下功夫。

上下文从 32K 涨到 128K

上下文从 32K 扩到 128K，整整四倍大小。半小时的医疗问诊聊到后半段，模型不会把前面的关键症状忘光，这是 OpenAI 给出的典型场景。

几个让对话不那么“机器人”的小动作

•Preambles（开场短语）：模型可以在主回答之前说一句“让我查一下”或者“稍等一下”，让用户知道它正在干活，不会觉得卡死

•并行工具调用 + 工具透明化：可以同时调多个工具，并且边调边告诉你“正在查日历”“正在查询订单”，不是闷头干完才出声

•失败兜底：遇到工具调用失败，模型会说“我现在处理这件事有点问题”，而不是直接静默或者崩掉对话

•专业词汇保留：对医疗术语、专有名词、人名、产品代号的识别和保留有明显改进

•语气可调：解决问题时冷静、用户着急时共情、确认成功时上扬，这些情绪基调可以更精细地控制

03

GPT-Realtime-Translate：边说边译，70 种语言互通

GPT-Realtime-Translate 是个独立的实时翻译模型，单独拎出来卖，专门给做跨语言语音产品的开发者用。不用等说完一段再翻，你还在说，它已经开始把翻译好的音频和文字片段往外吐了。

它的工作方式是 voice-to-voice，A 说中文 B 听到的是英文，B 说英文 A 听到的是中文，中间几乎不停顿。模型设计上是边听边译，不需要等说话人讲完一整句，所以两边对话节奏能保持自然。

几个关键能力：

  • 支持 70+ 种输入语言，13 种输出语言。
  • 处理上下文切换不掉链子，说话人聊着聊着突然换话题，翻译能跟上。
  • 能识别地区口音和方言变体，对印度英语、拉美西班牙语这种非标准发音友好。
  • 能保留专业领域词汇，医疗、法律、金融术语不会被翻译成大白话糊弄过去。

OpenAI 给的合作伙伴例子：

•Deutsche Telekom（德国电信）正在测试用它做跨语言客服，客户用自己最舒服的语言说，客服侧实时翻译跟进

•BolnaAI（印度本地化语音 AI 公司）的 CTO Prateek Sachan 提供的实测数据：在印地语、泰米尔语、泰卢固语三种语言上，Translate 的词错率比他们测过的任何模型都低 12.5%

•Vimeo 演示了直接给一段产品教学视频做实时翻译，全球客户不用等单独制作的多语言版本就能听母语解说

⚠️ 一个开发者侧的限制：Translate 模型不支持 function calling。意思是它只能把语音变成另一种语言的语音/文字，没法在翻译过程中触发查日历、订机票之类的工具调用。要做“边翻译边帮你订机票”这种场景，得把它跟 Realtime-2 串起来用。

04

##

GPT-Realtime-Whisper：流式转写，边说边出字

第三个模型 GPT-Realtime-Whisper 是个流式语音转文字模型，跟原来的 Whisper 走的是两条线。

原版 Whisper 的设计前提是处理「完整的一段音频」，你录完一段交给它，它出转写结果。新的流式版本是边说边转，延迟极低，不用等说完一句话再返回结果，专门服务实时场景。

OpenAI 强调的应用场景：

•会议、课堂、直播、活动的实时字幕

•一边开会一边自动生成纪要

•给客服、医疗、销售、招聘场景里的语音 Agent 当“耳朵”，实时把语音变成文字喂给下游

价格 0.017 美元 / 分钟，大概是 Translate 的一半。

05

语音作为人与产品之间的交互界面

OpenAI 把这一波语音能力整理成了三种交互模式，可以单独用也可以叠加：

1动嘴办事（Voice-to-Action）：用户说出需求，系统推理、调工具、完成任务。Zillow 的例子是“找一套在我购房预算范围内、避开吵闹街道的房子，周六约个看房”，一句话里带预算筛选、地段过滤、日历预约三个动作

广告媒流（小程序）-小红书

2系统播报（Systems-to-Voice）：软件把上下文转成口播指引。OpenAI 举的旅行 App 例子是“你的航班晚点了，但还赶得上转机，新登机口在 X，我帮你查了最快的步行路线，行李会跟着转”

3跨语言对讲（Voice-to-Voice）：跨语言对话，边说边翻

这些模式还可以协同工作：Priceline 把这三种模式串起来做一件事：从查机票酒店、改预订、看 TSA 排队时长，到落地后跨语言对话，整趟出行都靠说话搞定。

Priceline 正致力于打造一个让旅客能够通过语音管理整个行程的未来：以对话方式搜索航班和酒店；处理各种变更，例如在航班延误后调整酒店预订或获取 TSA 安检排队时间的实时更新；以及在旅客到达目的地后提供对话翻译。

06

价格、获取方式、限制

三个模型怎么搭配用 OpenAI 这次把三个模型分开发，背后的逻辑是不同任务用不同工具，省钱也省麻烦： 完整语音 Agent （语音进语音出，能推理能调工具）→ GPT-Realtime-2 纯翻译管道 （语音 A 进，语音 B 出，不用别的逻辑）→ GPT-Realtime-Translate 纯转写* （语音进，文字出，给下游系统接着用）→ GPT-Realtime-Whisper 如果你只是要个翻译功能，没必要拿最贵的 GPT-Realtime-2 硬撑，Translate 单独用更划算。同理只做字幕生成用 Whisper 就行。 定价

•GPT-Realtime-2：音频输入 32 美元 / 100 万 token，缓存输入 0.40 美元 / 100 万 token，音频输出 64 美元 / 100 万 token。文本输出 24 美元 / 100 万 token（比 1.5 的 16 美元贵）。图片输入 5 美元 / 100 万 token

•GPT-Realtime-Translate：0.034 美元 / 分钟

•GPT-Realtime-Whisper：0.017 美元 / 分钟

速率限制

GPT-Realtime-2 的 Tier 1 限额是 200 RPM、40K TPM、每天 1000 次请求，大致够日均几百通呼叫的小型客服试水；正式上量需要爬到 Tier 3 以上（5000 RPM、80 万 TPM）。Tier 5 顶配是 20K RPM、1500 万 TPM。Translate 按“每分钟可处理音频分钟数”算，Tier 1 是 50 分钟 / 分钟，Tier 5 拉到 850。免费 tier 三个模型都不支持。

数据合规

Realtime API 支持欧盟数据驻留，默认走 OpenAI 企业隐私承诺。会话级别有内置安全分类器，违反内容政策的对话会被自动中断。

已知限制和需要注意的地方

•默认推理档位是 low，跑分用的是 high/xhigh：开发者要自己调档，不然实际体验跟标题数字不一致

•Translate 不支持 function calling：只做翻译，要带工具的多语言 Agent 得叠 Realtime-2

•首日有部分账号调不通：OpenAI 开发者社区有用户反馈拿到访问错误（疑似 400 系列），但同帖也有人能正常调用，推测是灰度推送中的账号级权限问题，不是模型本身故障。遇到先别改代码，等灰度铺开或在 Status 页留意

•重口音识别仍有短板：早期开发者反馈，重口音情况下模型偶尔会把语种判断错

•音频输出没涨价但文本输出涨了：文本输出从 1.5 的 16 美元涨到 24 美元，纯走文本回退路径的应用要重新算账

•ChatGPT 普通用户暂时用不到：这一波是 API only，消费侧的语音体验升级 OpenAI 说“还在做”

07

上手

可以直接在 OpenAI Playground[1] 试，或者通过 Realtime API 接入。模型 ID 分别是 gpt-realtime-2、gpt-realtime-translate、gpt-realtime-whisper，对应端点 /v1/realtime、/v1/realtime/translations、/v1/realtime/transcription_sessions。

这一波最值得记住的不是“GPT-5 级推理”这个标题，而是 OpenAI 把“边想边说边干活”做成了一套可拼装的接口。

参考链接

[1] OpenAI Playground: https://platform.openai.com/audio/realtime

[2] 主推宣传 4 分钟（Hero）: https://player.vimeo.com/video/1190206030?h=bfe416b2df

[3] GPT-Realtime-2 实时对话 demo（1 分 45 秒）: https://player.vimeo.com/video/1189965227?h=5f67308e6d

[4] Vimeo 实时翻译产品教学视频（43 秒）: https://player.vimeo.com/video/1189187147?h=6f16761fb5

[5] YouTube 完整发布视频: https://www.youtube.com/watch?v=JOu8v6CBjkE

[6] Advancing voice intelligence with new models in the API - OpenAI: https://openai.com/index/advancing-voice-intelligence-with-new-models-in-the-api/

[7] GPT-Realtime-2 模型文档: https://developers.openai.com/api/docs/models/gpt-realtime-2

[8] The Decoder 解读: https://the-decoder.com/openais-new-voice-model-brings-gpt-5-level-reasoning-to-real-time-conversations/

[9] 原推文: https://x.com/OpenAI/status/2052438194625593804

— END —