Mellum2.1 – JetBrains 面向编程智能体的开源模型,2.5B 激活参数

AI工具1个月前发布 aibin_cn
688 0

Mellum2.1是什么

Mellum2.1 是 JetBrains 在 2026 年 10 月 8 日发布的开源编程模型,是 6 月开源的 12B 混合专家模型的下一版。架构一个字没改,仍是 12B 总参数、2.5B 激活参数,仍是 Apache 2.0 许可,权重放在 Hugging Face 上。变的全部是预训练之后的环节:强化学习从过去一个简短的收尾阶段变成了训练主体,训练在真实代码仓库里跑,配 shell 和文件编辑工具,测试通过才给奖励。官方说上一代速度够快但进不了仓库,这一版能自己探索代码库、改文件、检查自己的修改。

要提醒的是「17 项基准赢 15 项」这个说法的读法。那 15 项是赢它自己的上一代 Mellum2,而 Mellum2 在 SWE-bench Verified 上只有 2.0 分。对上同为 Apache 2.0 的 Qwen3.5-9B,它只赢 5 项。

Mellum2.1 - JetBrains 面向编程智能体的开源模型,2.5B 激活参数

12B 混合专家编程模型,2.5B 激活参数,Apache 2.0 开源,强化学习训练在真实仓库中完成

Mellum2.1的主要功能

  • 在仓库里干活:模型带着 shell 进真实代码仓库,读文件定位失败测试的根因,用编辑工具改文件,再跑一遍测试验证自己的修改,整个过程不需要外部框架拼装。
  • 当智能体里的执行者:JetBrains 把它定位成智能体系统中的一类「干活的模型」,承接从定位失败测试到起草并检查修复的这一段,上游的规划仍交给更大的模型。
  • 路由与上下文压缩:2.5B 的激活量让它适合做多模型系统里的分流判断,也适合在检索管线里做摘要、重排和上下文准备。
  • 兼顾通用任务:除编程外还能做数学、科学推理和日常问答,官方称难题和日常题都撑得住。这一条对照基准表要打折看,见后文。
  • 本地与内网部署:权重可下载,能在自己的机器或内网跑,代码和数据不出环境。

Mellum2.1的技术原理

  • 架构沿用上一代:28 层、64 个专家,路由每个 词元 只激活 8 个,所以总参数 12B 而每个词元的计算量只相当于 2.5B。注意力用分组查询注意力,32 个查询头配 4 个 KV 头,每 4 层里有 3 层用 1024 词元的 滑动窗口,这是为长输入压低延迟的做法。上下文 131072 个词元,词表 98304,权重是 bfloat16。
  • 强化学习换成主体训练:这是这一版全部的工作量所在。之前 RL 是收尾的一个小环节,现在它是训练的主体,方法本身和数据组织方式都重新试过一轮。
  • 奖励来自仓库自己的测试:软件工程类的训练环境不是构造出来的题目,是真实仓库。模型改完代码去跑仓库原生的测试套件,通过了才拿到奖励,这个信号比人工标注的答案更接近实际工作。
  • 数据先过一遍筛:官方说公开的强化学习数据集常带坏掉的测试、无法验证的答案、或者难度过低过高的题,所以每个来源进训练前都做了过滤,再补上自建的数学习题、算法竞赛、科学和工具调用任务。

Mellum2.1如何使用

  • 下载权重自己跑:权重在 Hugging Face 上,推荐用 vLLM 或 SGLang 起服务,思考输出去要加 --reasoning-parser qwen3 参数,否则思路文字会混进正文;要开工具调用再加两个参数。
  • GGUF 量化版直接跑:官方 GGUF 仓库已列出 5 个文件,BF16 是 24.3 GB 的参照版,Q8_0 是 12.9 GB,Q6_K 是 10.9 GB,Q4_K_M 是 8.1 GB,最小的 MXFP4_MOE 是 7.0 GB。最小的那个文件 16 GB 内存的机器纯靠处理器就能跑,12 GB 显存的卡装 8.1 GB 那档还有余量。
  • 采样参数有推荐值:温度 0.6、top_p 0.95、top_k 20,官方给的。
  • 别下错版本:Ollama 上搜「mellum2」拿到的是 6 月那一版,也就是 SWE-bench Verified 只有 2.0 分的那个,2.1 的标签里带 .1。发布说明里说 GGUF 与 vLLM 的推测解码组件还在做,但 GGUF 文件现在其实已经能下到了。

Mellum2.1的核心优势

  • 速度是主要卖点:单张 H200 高负载下,官方称它的词元吞吐量接近 Qwen3.5-9B 的两倍。多词元预测让单次请求快约 1.6 倍,但用于 vLLM 推测解码的那个组件还要等。
  • 每词元只算 2.5B:这是速度的来源。Qwen3.5-9B 是稠密模型,9B 参数每个词元全都要算,Mellum2.1 只算激活的那一小部分。在笔记本上这个差距比在服务器上更明显,官方那张速度对比图用的就是单卡 H200。
  • 体积小到能塞进消费级卡:8.1 GB 的量化版让一张 12 GB 显存的卡就能跑,这是它相对同级别模型最实际的差别。
  • 许可证干净:Apache 2.0,商用、微调、再分发都不需要额外谈条件。
  • 代码与数据不出环境:金融、医疗这类不能调外部接口的场景,本地跑是唯一选项。

Mellum2.1的同类竞品对比

这次选 Qwen3.5-9B 作参照。两者都是 Apache 2.0、都能本地跑,JetBrains 把它放进自家同一张对比表当作同级对手,而它是在智能体基准上明确赢过 Mellum2.1 的那个。

对比维度 Mellum2.1 Qwen3.5-9B
架构 混合专家,12B 总参 / 2.5B 激活 稠密,9B 全部激活
上下文 131072 词元 262144 词元,可扩到约 101 万
输入模态 纯文本 文本、图像、视频
SWE-bench Verified 47.0 50.0
SWE-bench Pro 28.0 38.0
Terminal-Bench 2.1 17.4 21.7
LiveCodeBench v6 82.0 75.4
GPQA Diamond 64.6 77.8
高负载吞吐 参照基准,官方称接近对手两倍 低于对手,官方口径约一半
许可证 Apache 2.0 Apache 2.0

这张表里有几件事要说清楚。第一,三个最能代表「在真实仓库里修 bug」的基准,它全部落后。SWE-bench Verified 差 3 分,SWE-bench Pro 差 10 分,Terminal-Bench 2.1 差 4.3 分,而官方给这版模型的主打卖点恰恰就是智能体编程。它的领先出现在算法题和工具调用上,LiveCodeBench v6 高 6.6 分,这更像是「会做题」而不是「会干活」。第二,所有分数都是 JetBrains 自己用同一套管线测的,没有外部复现。第三,管线本身会改分数,官方自己标了出来。同一个 Qwen3.5-9B,Qwen 官方卡上 LiveCodeBench v6 是 65.6、GPQA Diamond 是 81.7,JetBrains 用自家管线测出的是 75.4 和 77.8,两个数都往上抬了。这意味着表里的横向比较只在「同一套管线下」成立,换成别的测法名次可能变。第四,智能体测试有具体条件:跑在开源 Pi v0.73.1 框架里,上下文 114000 词元,每一轮最多 16000 词元,用各自的默认采样设置;非智能体的那些题用的是贪心解码,也就是每次都取概率最高的那个词。第五,「全面提升」的基准是它自己上一代。官方博客说模型「全面提升」,那个「全面」是相对 Mellum2 说的,而 Mellum2 在 SWE-bench Verified 上只有 2.0、SWE-bench Pro 上是 0.0、Terminal-Bench 2.1 上是 0.6,从几乎不会做到 47 分确实是量级跨越,但拿这个去证明它比对手强,逻辑上不成立。想了解另一条开源路线的取舍,可以对照我们写过的 openPangu-2.0。

Mellum2.1的官方地址

Mellum2.1的应用场景

  • 智能体里的高频繁活:格式整理、样板代码、测试骨架、检索结果压缩这类调用量大又不复杂的活,交给它比每次都调前沿模型便宜得多。
  • 两模型本地栈:一张 12 GB 的卡跑它当快档,负责改代码和子任务;难一点的整体推理留给更强的模型,这种搭配在消费级硬件上是跑得起来的。
  • 内网与合规环境:代码不能出内网的机构,权重下载到本地或内网服务器,Apache 2.0 不附加商用条件。
  • IDE 里的本地补全:JetBrains 自家的免费 AI 档位支持接本地模型,接上就不用按量付费。
  • 个人开发者:一张 12 GB 的卡配 8.1 GB 的量化版就能起步。想找其他开源代码模型,可以看我们写过的 Ling-3.1-flash,按整类找可以走 AI 编程工具。

© 版权声明

相关文章