Nemotron 3.5 Transcribe – 英伟达开源的 40 语言语音转录模型,一小时录音一次成稿

AI工具3周前更新 aibin_cn
309 0

英伟达 10 月 28 日放出 Nemotron 3.5 Transcribe,一个开放权重的语音模型,把转写、说话人归属、翻译和音频问答压进同一份 checkpoint,这四件事过去要串四个模型。40 种语言,最长 1 小时录音,最多 8 个说话人,总参约 340 亿而每词元只激活 43 亿。权重挂在 Hugging Face 和 ModelScope,OpenMDW-1.1 许可,商用和非商用都不收授权费,发布当天 Baseten、DeepInfra 就上了托管端点。官方对它的定位写得很直接:吃的是录好的音频,不是正在说话的麦克风。这条定位决定了它适合谁,也决定了它不适合谁。

它解决的是什么问题

做会议纪要有套很笨的流程。先跑 ASR 出文字,再丢给说话人分离模型贴标签,然后过一遍翻译,最后让大模型总结。四个模型、四份中间文件、四套格式约定,换任何一个版本都要重新对接口。

它的卖点是把这四步合成一步。音频进去,自然语言指令控制输出形态。要逐字稿就说「逐字转写」,去掉口头语说「输出书面形式」,标注谁说说「转写并标注每位说话人」,翻译说「译成英文」,还能直接问「这次会议做了哪些决定」。指令里能塞词表,把产品名和术语列进去,模型会在音频支持的前提下优先拼对。

一个模型扛下的几件事

转写覆盖 40 种语言,其中 7 种印度语系。翻译是 31 种语言与英语双向。说话人归属覆盖 13 种语言,单段最多分辨 8 个人。

时长上限 1 小时。不少开源 ASR 的实际切片只有几分钟到半小时,长录音得自己切段再拼,拼接处的时间戳和标签最容易乱。

输出能带词级时间戳,做法不是让语言模型自己数时间,而是在解码完成后挂一个轻量 CTC 适配器,把文本重新对齐回波形。还有个容易忽略的接口是音频问答,可以直接问录音里发生了什么,但这项只用英语训练过。

Nemotron 3.5 Transcribe - 英伟达开源的 40 语言语音转录模型,一小时录音一次成稿

页面列出五项能力分组、与不同规模模型的质量与首字延迟对比,以及完整的 checkpoint 清单

三块零件拼出来的语音模型

它不从零训语音大模型,而是拿现成的语言模型当骨架,前面接上听觉。官方把这种结构叫 SALM。

听觉侧是 600M 参数的 Transformer 语音编码器,加一个约 99M 参数的 Nemotron 3 Diarization 说话人编码器,后者训练中冻结。说话人信息不靠后处理贴标签,而是在编码阶段就把说话人活动注入声学表示,语言模型生成文字时天然知道这句属于谁。官方说据其所知,这是第一个在重叠语音上赢过级联方案的 SALM。

语言侧是 Nemotron 3.5 Lightning 30B-A3B,Mamba-2 与 Transformer 混合的专家混合模型。整份 checkpoint 总参约 340 亿,每个词元只激活约 43 亿,压缩比接近 8 比 1,上下文 65,536 个词元。推理加速靠自带的 Multi-Token Prediction 投机解码,另配一个可选草稿模型给低并发部署。

怎么拿到手

权重在 Hugging Face 和 ModelScope,仓库给五个版本:BF16、FP8、NVFP4、给 NeMo-Speech.cpp 的 GGUF,以及 DFlash2 草稿模型。

不想搭环境的,Baseten、DeepInfra、Simplismart 都上了托管端点。OpenRouter 价每秒音频 0.000033 美元,折每小时约 0.12 美元。

要改成行业模型,官方给了 NeMo Speech 微调链。医学案例是印度医生录音,留出说话人上的词错误率从最好的提示下的 22.44% 降到 12.17%,相对降 45.8%,单张 GB300 跑了 14 个 GPU 小时。代价是通用英语退了一点,LibriSpeech 从 1.54% 涨到 1.69%。

硬件上,官方指的单卡基准是 80GB 的 H100,面向 RTX Spark、DGX Spark、Jetson AGX Thor 的量化版标「即将推出」,发布当天跑不了。

它真正领先的地方

第一是说话人归属。David AI 的 21 语言榜上,它在 14 个系统里错误率最低,18.26%,比自家专做分离的 Nemotron 3 Diarization 的 18.38% 还低一点。VoiceArena 英文 14 系统对比里它第一,32.4% 的串行化词错误率,参考词被整段漏掉的比例 8.32%,中位数约 31%。多人抢话时漏整句比听错字严重。

第二是开放权重的处置权。医院、律所、政务这类场景录音不能出内网,这条比榜单上零点几个百分点重要。能自己攥着权重跑,和只能调别人接口,是两个采购品类。

第三是带出来的数据。Granary v2 公开清单 463,062 小时、48 种语言,比第一版的 25 种扩了近一倍。

和微软 MAI-Transcribe-2-Streaming 比

放一起比的不是谁分高,是两种产品形态。

对比维度 Nemotron 3.5 Transcribe MAI-Transcribe-2-Streaming
处理时机 录音完成后整段处理 边说边出,首字约 120 毫秒
权重 开放,OpenMDW-1.1,可商用 闭源,只能调云端
语言覆盖 40 种转录,31 种与英语互译 60 种,自动语种检测
单次时长 最长 1 小时 不限,按流
说话人归属 支持,最多 8 人,13 种语言 支持
参考价 每千分钟约 2.00 美元 每千分钟约 9.00 美元
部署 单张 80GB 卡可自建 只能走 Microsoft Foundry 等云端

微软这款的强项很硬。10 月 1 日发布,是微软第一个流式转写模型,音频进来 120 毫秒左右吐出第一批假设文本,60 种语言自动切换检测。直播字幕、实时客服、语音智能体这些场景 Nemotron 接不了,微软收 4.5 倍的价钱,卖的是能不能用。

反过来的账也清。微软只能调云,录音必须先上传,闭源且无权重下载入口。要私有化、按行业术语改造、把成本压在自有算力上,都不通。

有两点必须说清。一是两款分属 Artificial Analysis 的两个榜,微软的 2.50% 出自流式榜,Nemotron 的 3.4% 出自非流式榜,测试集和打分不同,不能判高低。二是开放权重里它不是最准的,Mistral 10 月 20 日发的 Voxtral Small Transcribe 3 在同一张非流式榜上是 2.1%,低 1.3 个百分点,代价是每千分钟 4.00 美元,贵一倍。

什么场景该用它

最贴的是会议与访谈的会后整理。1 小时录音一次进出,说话人标签和词级时间戳一起给,省掉拼接和重新对齐。

医疗听写排第二,前提是愿意微调。那个 22.44% 到 12.17% 的案例说明,术语错误能靠几百到上千条标注和十几个 GPU 小时压下去,不微调直接用,专业词不会好看。多语言客服的录音复盘也合适,尤其是要把非英语通话译成英文再分析的团队。

不该碰的得说明白。直播字幕、实时同传、电话机器人响应都要流式,模型卡写着内部切块不等于实时服务。要实时转写去看流式转写模型,要中英双向同传看混元那套方案。口音重、噪声大的录音也谨慎,官方在 HALAS 鲁棒集上是 31.50%,这个数比标题里的 4.71% 更接近工地和街头的真实情况。

几个不该被宣传语带过的地方

一是英语榜的两个数字。官方博客说在 Hugging Face 开放 ASR 英语榜上以 5.33% 排开放权重第一,模型卡在 10 月 12 日抓取的九套公开测试集上给的是 4.71%,次优的 Qwen3-ASR-1.7B 是 4.94%。两份材料差 0.62 个百分点,原因是平均的分母不同,都不算造假,但引用必须带上哪一套。

二是「并列开源第一」已经过期。官方对标的是 Voxtral Small,那款在 AA 上是 2.8%,两边打平,而 Nemotron 的激活参数只有对方六分之一。问题在于 10 月 20 日 Mistral 又发了 Voxtral Small Transcribe 3,把同一张榜推到 2.1%。准确说法是「说话人归属上开放权重最强」,不是「最强的开放转写器」。

三是速度数字的适用条件。单张 RTX PRO 6000 Blackwell 上 100 小时音频不到 3 分钟,这是 NVFP4 精度、30 秒切片、高并发下测的,而官方承认最快吞吐来自 NIM 里的优化服务代码,还没进开源发布。

四是语言覆盖的落差。语言矩阵有 41 行,挪威语那行没有任务打勾,实际标注 ASR 的是 40 种。FLEURS 上各语言错误率从意大利语的 1.41% 排到挪威语的 63.76%。语码转换更不齐,中英混说的 ASCEND 集是 18.74%,印英混说 19.28%,孟英混说 35.46%。

补个采购细节:训练数据有部分从 David AI 授权,而它登顶的那个说话人分离榜正是 David AI 办的。模型卡声明评测集没进训练,但这层关系值得知道。

© 版权声明

相关文章