2026 年 10 月 26 日,腾讯混元发布并开源了同声传译模型 Hy-SimulMT,中英双向,语音进去、译文和语音出来。通稿里最抓人的数字是「响应约 3 秒」,人类专业译员平均 4 到 5 秒。但官方自己的文档在同一页写着另一句话:这个 3 秒衡量的是流式翻译滞后,不等于首次开口延迟。两句话摆在一起,含义差得很远。这篇把模型卡、部署文档和评测表逐项对了一遍,顺带算清楚它跑起来到底要什么机器,语音输出为什么还得另外接一套服务。
Hy-SimulMT 是什么
它是语音到语音的同传模型,不走「先识别、再翻译、再合成」的三段路,而是把音频当连续流吃进去,边听边吐译文。相比等整句说完再翻的方案,它抢的就是那几秒等待,代价是必须在信息不完整时开始判断,听到补充再回头修。
架构上是个稀疏混合专家模型,总参数 304 亿,每个词元只激活约 30 亿,稀疏比接近 10:1。48 层,128 个路由专家加 1 个共享专家,每 token 走 8 个专家,隐藏维度 2048,前面挂一个 24 层的音频编码器,16 kHz 音频按 30 秒窗口送入。放到大语言模型这条技术线上看,它的特殊之处不在规模,在于输入直接是波形。
页面给出 RealSI 长音频的 StreamLAAL 与 GEMBA 对比图,以及四项短音频基准的分数表
主要功能
核心能力是边说边译。音频持续输入,模型持续输出,遇到后面的话推翻前面理解时,它会像译员那样回头修正,官方把这个过程描述为「先开口、后修补」。
模型放出六个文件,容易误读成六个型号,实际是一个模型六种壳。按输出形态分两种:基础版只吐译文,带 Interleave 后缀的把原文转写和译文交替输出。两种形态各有原始精度、FP8、GGUF 三份。
音色克隆是发布重点,但它不在这个模型里。文档写得很直白,语音输出和音色克隆都需要另行配置 TTS 服务,配套教程用的是 Qwen3-TTS-12Hz-0.6B-Base。所谓语音到语音,实际是一套组装件:30B 模型负责听懂和翻译,0.6B 语音合成模型负责开口和音色。只部署前者,拿到的是字幕。
配套工具算齐全。SimulInfer 提供网页界面、文件上传、实时 WebSocket 和命令行客户端;SimulTrain 提供在这个 checkpoint 上继续训练的脚本。普通用户还有一条更省事的路,腾讯 Hy 翻译 App 已经上线,同传功能免费。
3 秒这个数字,测的不是你以为的东西
StreamLAAL 衡量译文相对原始语音的滞后,单位秒,越低越好。它不是瞬时指标,是整段流式输出落后输入多少的加权结果。官方特意注明,它和「首次语音输出延迟」不是一回事。
真实使用里用户感受到的是首字延迟,不是平均滞后。而部署文档还给了另一条硬约束:标准模式下音频按 1600 毫秒切块,短块模式首块也必须满 1600 毫秒,之后才能降到 800 毫秒。模型必须先攒够这一段音频才拿到第一份可译输入,光这一步就 1.6 秒,推理和 TTS 再叠上去,开口只会更晚。通稿里「响应时间约 3 秒」,把这层换算省掉了。
对照人类的数字也一样值得拆开看。官方图里 Hy-SimulMT 是 3.3 秒,CATTI 一级译员 4.5 秒,二级 4.7 秒。通稿统一写成「人类平均 4 到 5 秒」,差值是 1.2 到 1.4 秒,不是成倍的差距。
质量分用的是 GEMBA,裁判模型是 GPT-6.1-Sol,一个模型给另一个模型的译文打分。这类打分的口径依赖提示词和评分标准,官方没有公开细节。
怎么用起来
三条路,从轻到重。
最轻的是 App,装上就能用,不用管显存,缺点是只能体验不能改。
中间一条是仓库里的一键部署脚本,bash deploy.sh --install-server --model tencent/Hy-SimulMT-30B-A3B-Interleave,会自己装依赖、下模型、起 vLLM 和网页服务。注意这条默认命令给的是 Interleave 版,会额外输出原文转写。如果你只要语音,转写是纯开销,既占输出 词元 又给每块增加延迟,这时候该换基础版。
最重的是手动部署:Linux、Python 3.12 以上、vLLM 0.31 以上且要支持 HYV3ForCausalLM、NVIDIA 显卡。官方示例的参数里有两个细节值得记,--gpu-memory-utilization 0.9 和 --max-num-seqs 4,并发批大小给到 4。
显存门槛官方没写数字,只说要够装下所选模型。按 304 亿参数和 BF16 每参数两字节算,权重约 60.8 GB,加上音频编码器和 KV 缓存,一张 80 GB 卡刚够。FP8 版体积约减半,适合单卡服务。GGUF 最低有 Q4_K_M 约 19.7 GB,理论上消费级卡能跑,但仓库明确写着 llama.cpp 官方支持尚未合并上游,现在要用得走项目自带的桥接脚本。
远程麦克风必须走 HTTPS,端口转发地址要带完整路径,代理要支持 WebSocket。
核心优势
摆在第一位的不是速度,是许可。Apache-2.0,无申请表单,无月活门槛,无营收限制,商用、修改、再分发都允许,也没有针对输出的额外条款。对照今年几款热门开源模型,有的设营收门槛,有的自订许可约束衍生模型,这份最松。对政企、医疗、法务这类音频不能出内网的场景,能自己攥着权重和调云端 API 是两个品类。
第二是延迟确实压进了人类译员的区间。3.3 秒对 4.5 秒,会议、访谈、直播字幕够用,比按句处理差别明显。
第三是音色。跨国会议里最别扭的往往不是翻译准不准,而是中文轨道突然换成一把陌生嗓子。接上 TTS 之后这条轨道还是原来那个人,在场感能保住大半。
项目地址
GitHub 仓库:https://github.com/Tencent-Hunyuan/Hy-SimulMT
HuggingFace 集合:https://huggingface.co/collections/tencent/hy-simulmt
ModelScope 集合:https://www.modelscope.cn/collections/Tencent-Hunyuan/Hy-SimulMT
同类竞品对比
最直接的对手是阿里的 Qwen3.8-LiveTranslate,同样是中英实时翻译,同样是商用 API 形态,官方评测表里也把它列在首位。下面的分数全部来自腾讯自己公布的那张表,没有第三方复现。
| 项目 | Hy-SimulMT | Qwen3.8-LiveTranslate |
|---|---|---|
| FLEURS | 90.3(对手 88.4) | 88.4 |
| CoVoST2 | 75.5 | 82.1(对手领先 6.6) |
| ACL6060 | 81.2(对手 80.5) | 80.5 |
| RealSI-Sentence | 84.7(全表最高) | 84.4 |
| 调用方式 | 只有自部署,无托管 API | 现成 API,按量计费 |
| 许可 | Apache-2.0,可商用 | 闭源 |
表格看完得说几句不客气的话。四项短基准里 Hy-SimulMT 只拿了一项第一,就是 RealSI-Sentence,84.7 比 Qwen 的 84.4 高 0.3 分。另外三项,FLEURS 最高是 Gemini3.5-LiveTranslate 的 92.4,比它高 2.1;ACL6060 最高同样是 Gemini3.5 的 82.6,高 1.4;CoVoST2 落后 Qwen 整整 6.6 分。通稿说的「超过大部分商用 API」指的是长音频 RealSI 上的 GEMBA 分,五个商用 API 赢四个,那套数字在图上以散点呈现,没给数值表,没法逐项核对。
Qwen 那条的优势不是虚的。它有能直接调用的 API,今天写代码今天就能跑通,不用买卡、不用调 vLLM 版本、不用配 TTS。6.6 分在真实对话里能听出来。代价是闭源、按量付费、音频要过别人的服务器。
所以选择逻辑其实不复杂:要立刻上线、量不大、不介意音频出境,Qwen 这条路省事得多。要控延迟、要数据不出内网、要长期跑量大到 API 账单比显卡贵,才轮到 Hy-SimulMT。
应用场景
最贴的是跨国会议和商务谈判,尤其参会方对音频去向敏感的那种。同传箱的替代方案以前只有两种,请人或接云端 API,现在多了第三条。
跨境直播和出海客服是第二类,共同点是「换了语言但最好别换人」,主播和客服的音色本身就是信任的一部分,这里音色比准确率多一分更值钱。
国际网课和学术讲座排第三,这类内容语速稳、术语多、有讲稿可循,是模型相对舒服的区间。官方自己的说法也是先在低风险场景用,涉及严格问责和高风险决策的地方,专业译员仍不可替代。
如果需求是会后整理录音,反而不必上这套。转写好的文本交给翻译工具更省事,纯语音转写可以看流式转写模型。实时同传只在「等待确实影响沟通」时才值这个部署成本。更多会议办公类工具看 AI 办公工具分类。




