英伟达开源 Nemotron 3.5 Super VL:120B 多模态模型,单卡智能体任务最高快 5 倍

AI工具1个月前发布 aibin_cn
265 0

Nemotron 3.5 Super VL 是什么

英伟达在 2026 年 10 月 15 日放出 Nemotron 3.5 Super VL 的权重,这是一个 120B 总参数、12B 激活的混合专家多模态模型,把推理、工具调用和文本、图像、文档、视频理解装进同一套权重,官方给它的头衔是「同规模开放模型里最快」,单卡跑智能体任务的吞吐量最高是第二名的 5 倍。许可用 OpenMDW-1.1,没有营收门槛,也明确不限制生成结果怎么用。但几个数字得拆开看:5 倍的分母是 Thinking Machines 的 Inkling Small;官方宣称的 100 万 token 上下文,多数托管平台只开到 26 万,能真正跑满的端点要挑。

它在 Nemotron 家族里占「看图加专用任务」这一格。8 月的 Lightning 管高吞吐纯文本,Ultra 管最难的规划与编排,总参数 550B、激活 55B;Super VL 管要读图表和多页文档的多步工作流。同批还发两个边缘模型,Bolt 74B-A9B 用原生 2 bit 量化塞进 24GB 内存跑在 RTX 与 DGX Spark 上,Bolt E4B 只有 4GB,10 月 23 日上线。

英伟达开源 Nemotron 3.5 Super VL:120B 多模态模型,单卡智能体任务最高快 5 倍

120B 开放权重多模态模型,NVFP4 检查点可在单张 H200 或 DGX Spark 上运行

Nemotron 3.5 Super VL 的主要功能

  • 文档与图表理解:视觉训练的靶子是智能体真会遇到的东西,光学字符识别、表格、图表、多页 PDF 都在内,能把一张图和另一处的表格对起来再总结,结构化流程可按 schema 输出 JSON。
  • GUI 与计算机操作:能读应用界面、仪表盘和表单,判断下一步点哪里,这是网页智能体与桌面自动化的底座。
  • 工具调用与多步业务流:官方把指令遵循、工具使用、多步业务流程列为三项主打,评估横跨 Hermes、LangChain、OpenClaw 等多套智能体外壳。
  • 视频理解:接受两分钟以内的 MP4 片段,抽帧做推理,超长素材要靠外部自行切分。
  • 推理强度可开关:聊天模板里的开关控制是否走思考模式,能在延迟和准确率之间切。

Nemotron 3.5 Super VL 的技术原理

骨架是 Mamba-2 层、混合专家层和注意力层交错排布,88 层里只有 8 层用注意力。Mamba 层携带固定大小的状态,不像注意力缓存那样随 token 数增长,长文档和多轮会话的开销因此被压住。每个专家层放 512 个路由专家,每个 token 激活其中 22 个再加 1 个共享专家,这是大语言模型里典型的稀疏换算力做法,真正吃显存的是全部专家而不是被激活的那一小块。视觉侧走 C-RADIO 编码器加连接层,量化之后视觉模块仍保持 BF16。

它是从 Nemotron 3 Ultra 蒸馏来的,官方用了一种叫 SkewReverse 的损失来搬运编码能力,后训练靠多教师在线策略蒸馏。整体训练约 26 万亿 token,后训练用掉约 380 万条样本,外加几十个环境里的强化学习。速度靠四件事叠加:多 token 预测让模型自带草稿头,一次前向验证多个 token;LiLiCorr 投机解码在 DGX Spark 上把生成速度最高拉到 2.3 倍;NVFP4 配量化感知蒸馏,Blackwell 上是 4 bit 权重加 4 bit 激活,换到其他平台用 4 bit 权重加 16 bit 激活;上下文复用把注意力缓存和 Mamba 状态一起留在前缀缓存里。官方汇总的数字是一万个编码任务在 B200 上快 4 倍完成,Dynamo 配 KV 感知路由可服务 8 倍用户数。

如何使用 Nemotron 3.5 Super VL

下载与硬件:Hugging Face 上是 nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4,另有 BF16 版本。BF16 的 vLLM 配置要 4 张 H100 或 2 张 GB200;NVFP4 版本宽松得多,纯文本加图像在单台 DGX Spark 上就能跑,带视频则要一张 H200 或一张 GB200。推理框架支持 vLLM、SGLang、TensorRT-LLM,本地路线有 llama.cpp 和 Unsloth。

直接调 API:OpenRouter 标价输入每百万 token 0.10 美元、输出 0.40 美元,按服务商分档,Crusoe 是 0.10 与 0.40,DeepInfra 是 0.20 与 1.00,输出侧能差两倍多。价格在 120B 级别里算低,但它说话偏多,独立评测记录它跑完整套智能指数用掉 1.7 亿输出 token,同类中位数是 1 亿。

上下文长度得挑端点:模型卡写的是最大 100 万 token,同一页又提醒具体服务配方可能为了显存和并发用更小的窗口。Baseten 给 100 万,Together 与 DeepInfra 只给 262K,GMICloud 甚至只有 33K。

许可与一个缺口:OpenMDW-1.1 免费授予全部权利,商业非商业都能用,没有营收门槛、强制署名和使用限制清单,并明确不对生成结果施加约束;分发时要带上这份许可与版权声明,对模型发起专利或版权诉讼则授权终止。缺口是后训练用的监督微调与强化学习数据尚未公开,部分教师模型和视觉推理阶段依赖未公开组件,所以这是「权重加部分配方」,不等于能把训练复现一遍。

Nemotron 3.5 Super VL 的核心优势

  • 独立榜上确实是同组第一:Artificial Analysis 给 26 分,在开放权重 40B 到 150B 这一档排第 1,该组中位数只有 8 分。官方说它「用五分之一的体积达到最大推理模型的精度」,这条站得住。
  • 看和做合在一个模型里:过去要串「视觉模型出描述、推理模型做决策」,中间会丢信息,它把两步收在同一个上下文里。
  • 部署面最宽:从 B200、H200 到 DGX Spark、RTX PRO,再到边缘的 Jetson,同一套权重全覆盖。
  • 许可条款干净:对比同周 Meta 那套带营收门槛和强制署名的条款,OpenMDW-1.1 基本是通用开源许可的写法。
  • 速度上限高:选对服务商时吞吐是它最硬的卖点。

Nemotron 3.5 Super VL 的官方地址

Nemotron 3.5 Super VL 的同类竞品对比

这次选 Qwen3.5-122B-A10B 作参照。它是英伟达自己对比表里的对手,参数规模几乎一模一样,同为开放权重多模态模型,而且在编码与指令遵循两项上反超。

对比维度 Nemotron 3.5 Super VL Qwen3.5-122B-A10B
出品方与发布时间 英伟达,2026-10-15 阿里,2026-02-24
总参 / 激活 120B / 12B 122B / 10B
专家配置 512 个路由专家,激活 22 个加 1 共享 256 个专家,激活 8 个加 1 共享
原生上下文 最大 100 万,托管实际从 26 万起 262,144,可经 YaRN 扩到约 100 万
输入模态 文本、图像、文档、视频(两分钟内 MP4) 文本、图像、视频
支持语言 10 种 201 种
许可 OpenMDW-1.1 Apache 2.0
GPQA-Diamond 科学推理 89.90 86.6
SWE-bench Verified 编码 71.07 72.0
IFBench 指令遵循 71.50 76.1
CharXiv 图表推理 79.88 77.2
BrowseComp 网页检索 77.5 63.8
MMMU 视觉理解 未列 83.9
托管价(每百万 token) 输入 0.10 / 输出 0.40 美元起 约 0.40 / 3.20 美元

关于这张表有四点必须说明。第一,「5 倍」的分母要说清楚。Artificial Analysis 那一页对它的速度栏写的是 N/A,标注无公开可用 API,说明这个数字不是 AA 独立测出来的;英伟达引用的 600 以上 token/s 出自 Baseten 端点,同一张 AA 图上第二快的对手是 Inkling Small,总参数 276B、体积是它的两倍多,AA 实测 139 token/s,两者比值约 4.3,与 5 倍同量级。换成实际托管落差很大,Crusoe 90、DeepInfra 139、CoreWeave 283 token/s。第二,量化不是白拿的。官方说量化感知蒸馏能补回差距,多数项目确实持平甚至略涨,但网页导航 WebVoyager 从 77.72 掉到 66.31,软件工程 DeepSWE 从 24.65 掉到 18.2,掉分的恰好是它主打的智能体类任务。第三,官方三个宣传数字取自不同设置,CharXiv 的 80.8% 是 BF16 的值,NVFP4 上是 79.88;84% 是额外接入 Python 代码解释后的结果;只有 GPQA 的 89.90 来自 NVFP4。第四,对手那一列不是同一套管线重跑的,Qwen 的 SWE-bench Verified 72.0、IFBench 76.1、BrowseComp 63.8 与它自己模型卡公布的数字逐字一致,说明这几格是引用对手自报值,而自家分数走的是 NeMo Gym 实跑;Terminal-Bench 更明显,三方三套设置。

Nemotron 3.5 Super VL 的应用场景

  • 票据与合同结构化:官方点名的案例是把收据图像转成含商户、日期、支付信息的 JSON,金融文档智能是它最直接的落点。
  • 客服与工单处理:读客户发来的截图和文档、套内部政策、再调工具完成多步请求。这类系统的结构可以先补 AI 智能体 这一篇。
  • 网络安全分诊:官方合作案例里,AI21 与 Alice 用它做威胁情报和漏洞分析,声称准确率提升 40%,CrowdStrike 做智能体蓝队。
  • GUI 自动化:屏幕理解加工具调用,适合网页自动填写、后台系统批量操作。同类工具可以看 AI 编程工具。
  • 内网与离线部署:单台 DGX Spark 就能起文本加图像的推理,适合数据不出内网的团队。同日发布的另一款开放权重多模态模型可对照本站 Muse Spark Open,它走苹果双机路线;端侧显存口径的坑可对照本站 MiniCPM-V 4.7。