MAI-Transcribe-2-Streaming – 微软推出的首个实时流式多语种语音转写模型

AI工具2个月前发布 aibin_cn
153 0

MAI-Transcribe-2-Streaming 是什么

MAI-Transcribe-2-Streaming 是微软 AI(MAI) 于 2026 年 10 月 1 日推出的实时流式语音转写模型,也是微软第一款把边说边出字做进产品的语音识别模型。它通过 WebSocket 接收分块音频,在收到音频约 120 毫秒内给出首批部分文本(partials),之后随着上下文累积持续修正,说话结束后约 0.13 秒提交最终转写,覆盖 60 种语言并支持自动、连续的语言检测。在 Artificial Analysis 于 9 月 28 日更新的流式语音转写榜上,它以 2.50% 的最终词错误率与 2.8% 的首次部分转写错误率在两项上均列第一。优惠价每音频小时 0.54 美元,年底前有效,已上 Microsoft Foundry、MAI Playground、OpenRouter、Vercel AI Gateway 与 Azure Voice Live。

MAI-Transcribe-2-Streaming - 微软推出的首个实时流式多语种语音转写模型

MAI-Transcribe-2-Streaming 的主要功能

  • 流式增量转写:不等一句话说完,先给假设文本,再随更多上下文修正,语句结束后提交稳定结果。
  • 60 语种与连续语言检测:不用在会话开始前指定语言,中途换语种也能跟上,官方语言列表里包含中文。
  • 首字延迟压到 320 毫秒:微软内部评测称文字最快在语音出现后约 320 毫秒进入转写,多数竞品在 500 毫秒以上。
  • 支持强制端点:调用方能在需要时主动发端点请求收口,不必干等模型自然收尾,对需要立刻拿到最终文本的流程很实用。
  • WebSocket 双向通道:音频分块持续推入,转写事件同步回传,适合长会话常驻连接。
  • 与语音合成配套:同批发布的 MAI-Voice-2.1 与 MAI-Voice-2.1-Flash 负责把回复读出来,两端拼起来就是完整的AI 智能体语音回路。
  • 接入渠道铺得广:Foundry、MAI Playground(新增演示智能体 Chatter)、OpenRouter、Vercel AI Gateway、Azure Voice Live 都能调,LiveKit 官方说即将支持。

MAI-Transcribe-2-Streaming 的技术原理

  • 流式和批量的分水岭在处理时机:批量模型拿到整段音频后一次性出结果,流式模型按块接收、边收边出,代价是要持续占用算力,这也是它单价比非流式贵五倍多的直接原因。
  • partials 与 final 是两段机制:partials 是低置信的临时假设,用于尽早触发下游动作;final 是上下文攒够后收口的稳定结果。两者的错误率必须分开看,前者天然更高。
  • 端点检测决定计时口径:语音转文字的延迟数字怎么读,取决于表从哪里开始计。AA-WER Streaming 的两项时间指标都从 SileroVAD 检测到语音结束那一刻起算,不是从开口说话起算。所以 0.13 秒指的是说完之后多久拿到最终文本,和 320 毫秒出字不是同一件事,媒体稿常把这两个数并列写,读起来像是一回事。
  • 省下的时间是给下游用的:听写和朗读两端各省一点,中间留给推理与工具调用的预算就多一些,这是延迟数字在语音对话里的实际意义。
  • 下游串联成完整回路:转写文本进入推理模型(微软自研的 MAI-Thinking-1)决定动作,再由 MAI-Voice-2.1-Flash 合成语音返回。三层全部自研,是微软减少对外部模型供应商依赖的一部分,官方目标被概括为降低并最终消除付给 Anthropic 的成本。

如何使用 MAI-Transcribe-2-Streaming

  • 想先试效果:MAI Playground 里直接对话体验,官方配了一个叫 Chatter 的演示智能体。
  • 要正式接入:通过 Microsoft Foundry 部署,按音频时长计费,优惠价每音频小时 0.54 美元,约合每 1000 分钟 9 美元。
  • 不想多签一家供应商:OpenRouter 与 Vercel AI Gateway 已上架,如果你本来就在用聚合网关,改个模型名就能切。
  • 做实时语音场景:Azure Voice Live 与即将支持的 LiveKit 更贴这类需求。
  • 传输层走 WebSocket:音频分块推入,转写事件同步回传,长连接维持整个会话。

MAI-Transcribe-2-Streaming 的核心优势

  • 榜首出自独立评测:2.50% 的最终词错误率由 Artificial Analysis 测出并可公开核验,不是厂商自评,这一条比任何宣传语都有说服力。
  • 多语种能力有同门数据支撑:非流式版 MAI-Transcribe-2 在 FLEURS 60 语言上超过 Whisper-Large-V3、GPT-Transcribe、Scribe v2 与 Gemini 3.5 transcribe,流式版延续同一语言覆盖,不是临时补的多语种标签。
  • 延迟优势不是靠牺牲精度换的:它同时落在 AA 的准确率与延迟帕累托前沿上,意味着两项指标都在前列,而不是用低精度去兑速度。
  • 端点控制权在调用方手里:支持强制端点,什么时候算一句话说完可以交给业务逻辑决定,这在需要卡准收口时点的流程里很关键。
  • 对企业采购友好:Foundry 与 Azure 生态内的身份、配额与合规体系可以直接复用,不用为一个语音能力另开一套审批流程。

MAI-Transcribe-2-Streaming 的同类竞品对比

对比维度 MAI-Transcribe-2-Streaming MAI-Transcribe-2(非流式)
定位 实时对话、直播字幕、听写 录音文件、会议记录、临床文书
AA 准确率榜位 第 1 第 2
实时流式 支持 不支持
首次部分转写延迟 约 120 毫秒 无此项
端到端延迟 约 128 毫秒 1 小时音频约 10 秒
说话人分离 不支持 支持
词级时间戳 不支持 支持
关键词偏置 不支持 支持
转录风格(clean / verbatim) 不支持 支持
优惠价(每音频小时) 0.54 美元 0.10 美元

关于这张表有四点必须说明,规格数据出自微软官方模型页。第一,也是媒体稿几乎都没写的:流式版不是非流式版的升级,而是一个功能被裁剪过的实时专用版本。说话人分离、词级时间戳、关键词偏置、转录风格四项高级能力,流式版全部不支持,这四项正是会议记录和临床文书最需要的东西。加上单价比非流式贵 5.4 倍,两条产品线是分工关系而不是替代关系。

第二,那个让它排第一的榜单是纯英文基准。AA-WER Streaming 由 AA-AgentTalk(50%)、VoxPopuli(25%)、Earnings22(25%)三段英文语料构成,不测多语言。所以 2.50% 第一和 60 语种是两个不同来源的能力,榜单并没有验证它在多语种上的表现,把它读成 60 种语言都第一是误读。

第三,领先幅度很薄,而且榜单洗牌很快。2.50% 对第二名 Grok Voice Transcribe 2.0 Streaming 的 2.73% 只差 0.23 个百分点。这条榜单今年 5 月底由 Artificial Analysis 首次发布时,领先者是 Cartesia Ink-2 的 3.59%;之后 Meta 的 Muse Voice Transcribe 以 3.1% 登顶;现在轮到微软。在这个赛道里,这个位子谁坐都不太久。

第四,价格横向放在同侪里看,微软并不便宜。每 1000 分钟 9 美元的折算价,高于 ElevenLabs Scribe v2 Realtime 的 6.50 美元,约为 Meta Muse Voice Transcribe 3.00 美元的三倍,只比 OpenAI GPT Live Transcribe 的 17.00 美元低。官方宣传的成本效率,主要是相对于自家非流式的前代与 OpenAI 那一档而言的。

MAI-Transcribe-2-Streaming 的应用场景

  • 客服与销售语音智能体:来电者话没说完就能开始判断意图、查可用时段、准备动作,把等待时间从听完前移到听到。
  • 多语种实时字幕:自动语言检测让混说中英的会议不用人工切语种,这对跨国团队的直播与线上培训很实用。
  • 语音界面与短指令响应:用 partials 提前响应「是」「否」这类短回答,交互体感更接近真人对话。
  • 实时听写:口述直接成文,边说边看,适合记者、律师和医生的即时记录。
  • 下游翻译与配音管线的第一环:转写出来的文本可以接进 Index-Translate 这类多语种翻译与配音模型,拼成实时同传链路。

需要整套语音或智能体方案的话,AI 智能体 分类里有更多工具可选。

© 版权声明

相关文章