Inception Labs 发布 Mercury 3:扩散大语言模型跑到 1068 tokens/秒

AI工具4周前发布 aibin_cn
112 0

Inception Mercury 3 是什么

2026 年 10 月 19 日,Inception Labs 发布 Mercury 3。主流模型都是自回归,一个字接一个字往外吐,它先把整段答案铺成草稿,再分几轮并行去噪,把每个位置同时改对。官方给的规格是 1068 tokens/秒、100 万词元上下文(上一代 2.5 是 26 万)、输出上限 131,072 词元,参数比初代大 40 倍以上,绝对值没公布。它在 Inception API、OpenRouter、Baseten、Vercel 四家上线,闭权重,只能调接口。但决定它值不值得用的不是这个峰值:OpenRouter 上真实流量的中位数只有两百出头,第三方长文本测试里它的端到端耗时 65 秒,比两个对手都慢。

标准价每百万输入词元 0.20 美元、输出 0.70 美元,发布期五折到 0.10 与 0.35,缓存输入再降九成到 0.01。新 API key 送 1 亿免费词元,一次性。同批还有两条支线:Mercury Voice 主打语音,首字压在 170 毫秒以内;Mercury Decide 是高吞吐分类模型,只收输入费。

Inception Labs 发布 Mercury 3:扩散大语言模型跑到 1068 tokens/秒

官方称这是目前能力最强的文本扩散模型,输出速度 1068 tokens/秒

Mercury 3 的主要功能

  • 千级输出速度:官方标 1068 tokens/秒,具体口径见下文拆解。
  • 百万上下文配十三万输出:窗口比上一代放大近四倍,单次最多生成 131,072 个 词元,适合整份代码库或几十份文档一起读。
  • 四档推理强度:instant、low、medium、high 四档,通过 reasoning_effort 参数切换。官方那 12 项成绩全部在 medium 档测的。
  • OpenAI 接口兼容:换掉 base URL 和模型名就能切,AISuite、LiteLLM、LangChain 都能直接用。
  • 结构化与工具调用:支持并行工具调用和按 schema 输出 JSON,这是它对标智能体场景的底气。

扩散为什么能快,代价又在哪

自回归的生成步数等于输出长度,写两千个词元要跑两千次前向,每次都得把前面读一遍,卡在显存带宽上。扩散把这件事换成另一套账:步数变成去噪轮数,一轮同时改几千个位置,序列再长轮数也不必跟着涨。

代价藏在两处。一是起步慢,自回归吐出第一个词元就能显示,扩散得先跑完几轮去噪才有可用开头,这段时间用户看到的是空白。二是批处理不占便宜,自回归靠拼大批次摊薄显存带宽,扩散的并行已经在序列维度用掉这份红利,所以它单用户、低并发时延迟最漂亮,规模化后每词元的成本优势会缩水。这条质疑在 Hacker News 上被提过,Inception 方面回应说 Mercury 在批次上扩展得不错,但目前没有公开数据支撑。

工具链也是短板。KV 缓存策略、投机解码、调度优化,全都是围绕自回归写的,扩散的解码模式不同,大语言模型生态里能直接复用的优化很有限。输出还会以「块」为单位成片出现,前端要做适配。

1068 这个数字有三层

官方的原句只写了「在 NVIDIA GPU 上达到 1068 tokens/秒」,没给芯片型号、批大小、提示长度。这是理想配置下的峰值。

第二层是真实流量。OpenRouter 上 Mercury 3 从 10 月 16 日就挂上了,比正式发布早三天,也是唯一公开实盘数据的渠道。到 10 月 20 日那一周,中位吞吐的周均值有两处记录:203 tokens/秒和 243;同一天两次抓取读到 160 和 254,中位延迟 1.40 秒。典型请求里将近一半时间花在等第一个字。

第三层是历史对照。Artificial Analysis 独立测过上一代:Mercury 2.5 是 668 到 706 tokens/秒,Mercury 2 是 484,都比 Mercury 3 的实盘中位数高。口径不同不能硬比,但至少说明 1068 是上限,不是均值。

端到端的时间账更能说明问题。一次回答一千个词元,上一代独立数据是等 3.61 秒出首字、再按 668 写 1.5 秒,合计约 5.1 秒。解码提到 1068,等待不变,合计约 4.5 秒,只省下 11%。解码速率涨了六成,用户体感只快了十分之一。 第三方机构 Spring Prompt 的长文本网页测试更直接:Mercury 3 中位 65 秒,Haiku 5.5 是 44 秒,GPT-6 Luna 是 47 秒。吞吐快四倍,端到端反而慢四成。

12 项里赢 8 项,但表是挑过的

Inception 给了一张 12 行对比表,全部在 medium 档,对手是 GPT-6 Luna 和 Claude Haiku 5.5。逐项数下来,Mercury 3 拿下 8 项,Luna 赢 2 项,Haiku 5.5 赢 2 项。按两两对比算它对每个对手都是 10 胜 2 负,因为对手各自赢的那两项并不重合。

赢的地方集中在智能体任务和指令遵循:SWE-Bench Atlas 51.08,比两个对手高出 18 分上下;τ³-bench Banking 30.24,对手是 23.00 和 13.06;IFBench 76.84,比 Luna 高 15 分;GPQA Diamond 89.23;搜索两项也全赢,BrowseComp+ 55.18、DeepSearchQA 71.33。

输的地方恰好跟它的主卖点重合。MRCR v2 测长上下文精确召回,它 75.50,输给 Haiku 5.5 的 78.40;AA-LCR v1.1 测长上下文推理,它 77.67,输给 Luna 的 78.30。两项长上下文测试,一项都没赢。窗口开到了一百万,但窗口里的东西不一定找得准。 另外 DeepSWE v1 的长链编码是 46.31,输给 Haiku 5.5 的 51.62,差五个点。

表本身也有取舍。12 行里没有 HLE,也没有 Terminal-Bench,而这两项恰好是 Mercury 系列的旧短板,上一代 2.5 分别是 11.8% 和 34.5%。官方第二张「质量对规模」曲线用的综合分包含了 Terminal-Bench v2.1、SciCode 和 SO Quality,这三项在对比表里一个分都没给。自己在图里算了,表里不给数,这个取舍值得留意。

还有一个口径问题:全部只测 medium 一档,没有 low 到 high 的曲线,看不出对手多思考几步能追回多少。对比模型那两列也是 Inception 自己跑的,比如给 Haiku 5.5 测出的 GPQA Diamond 是 84.51,第三方记录是 89.8。

如何使用 Mercury 3

最省事的入口是聊天页,注册就能试。要写代码的话,POST https://api.inceptionlabs.ai/v1/chat/completions,模型名写 mercury-3,请求体就是标准的 OpenAI 格式,reasoning_effort 填 instant、low、medium 或 high。

迁移有两件事要提前排。一是旧模型只留到 2026 年 11 月 15 日,Mercury 2 和 2.5 从 10 月 19 日起不对新用户开放,存量客户还有不到一个月。二是按五折做的预算大概率不够,官方只说「发布期五折」,没写截止日期。一个没有结束日期的折扣是营销话术,不是合同条款,如果你的毛利只在 0.35 的输出价下成立,那它现在就不成立。标准价下它的输入是对手两倍,输出贵四成。

官方地址

同类竞品对比

竞品选 Claude Haiku 5.5,理由是 Inception 自己把它列为主要对手,两者输入同价,而且它在两项上赢过 Mercury 3。

对比维度 Mercury 3 Claude Haiku 5.5
架构 文本扩散,并行去噪 自回归,逐词元生成
官方吞吐 1,068 tokens/秒(NVIDIA GPU) 约 240(Inception 自测约数)
实盘吞吐 OpenRouter 周中位 203 至 243 无同口径公开数据
上下文 / 输出上限 1M / 131,072 词元 1M / 官方未单列
SWE-Bench Atlas 51.08 32.26(Inception 自测)
DeepSWE v1 46.31 51.62(Inception 自测)
MRCR v2 75.50 78.40(Inception 自测)
IFBench 76.84 54.65(Inception 自测)
价格(每百万输入 / 输出) 0.10 / 0.35 折后,0.20 / 0.70 标准 0.10 / 0.50,超 10 万词元跳到 0.50 / 2.50
权重 闭源,仅 API 闭源,仅 API

先说清口径:对手那几列分数全是 Inception 用自家 harness 跑的,不是 Anthropic 公布的,设置可能不同,差距只能当方向看。

两者真正的分野不在分数,在计费结构。Haiku 5.5 单次提示超过 10 万词元就整单跳到 0.50 与 2.50,而 Mercury 3 官方只给了一个价,没看到阶梯条款。塞整本手册的长请求,Mercury 便宜得多;几百词元的短请求,标准价下它反而更贵。这也解释了它的定位:短请求靠速度抢,长请求靠计费结构抢。

Mercury 3 的应用场景

浏览器和电脑操作 agent 最对口。这类任务每一步都要等模型返回决定,几十步叠起来,单步延迟的复利比单次回答质量更影响成败。官方在 50 个真实 Mind2Web 导航任务上测了完成率,Mercury 3 完成一半,说显著高于 GPT-6.1-Sol,但没给 Sol 的数字,是信号不是测量值。

实时搜索和智能眼镜是第二个场景。Octen AI 的数据是生成中位 0.9 秒、端到端 2.2 秒。交互式教学同理,RevisionDojo 的提示、批改和定义现在差不多一秒返回。

客服是第三块,AI 智能体接电话和在线对话,等的就是首字那一下。语音方案可对照本站 Grok Voice 3.0,那是端到端语音到语音,首字 0.81 秒;Mercury Voice 走另一条路,先保证 170 毫秒的首字。

反过来,两类活它不擅长。一次生成几千字的长文,端到端时间反而比自回归慢;高并发的批量处理,扩散在批次上的成本优势还没被公开数据证明。要是做决策类任务,Inception 另有一条 Mercury Decide,只收输入费,官方说在 JevBench 和 LegalBench 上超过 Jev,站内同赛道可以对照 mammoth-1 与 elephant-1 那一篇。

© 版权声明

相关文章