Baseten mammoth-1 与 elephant-1 是什么
2026 年 10 月 21 日,Baseten 旗下的研究团队 Base Labs 放出两款决策模型,mammoth-1 有 270 亿参数,elephant-1 有 90 亿,权重以 MIT 协议开放,可以下载自托管。两款都是全量微调,训练用的是 621 万条决策样本,官方说整个后训练只花了一周。它们一个字都不生成,读完输入直接给每个候选答案一个概率,主打工单分流、钓鱼检测和大小模型之间的路由。官方说 mammoth-1 在 Jev 决策指数上排 208 款模型第一,但那个 71.24 分出自 0.4 版榜单,榜单更新到 0.4.1 之后它只剩 68.9 分,而它对亚军的领先原本只有 1.8 分。
这两款模型都不是从零训出来的。它们在 Qwen3.5-27B 和 Qwen3.5-9B 上做全量微调,等于把阿里开源的两个通用大语言模型改造成只做选择题的工具。最大序列长度 16,384 个 词元,输入只有文本,输出是一组概率而不是一句话。对一份合同、一封邮件、一条工单来说够用,要整本手册塞进去就不够了,同类里的 Perplexity Decider 单请求能给到 26 万词元。
Base Labs 在 10 月 21 日开源两款决策模型,27B 与 9B 双档
Baseten mammoth-1 与 elephant-1 的主要功能
决策模型只认三种问法,这一点决定了它能干什么、干不了什么。
- 单选:从 1 到 255 个选项里挑一个,每个选项可以带说明。问法是「这张工单归基础设施、账单、安全还是客服」,返回的是每个部门的概率,加起来等于 1。
- 判断:给一段关于真假的描述,返回一个 P(真) 的数值。适合「这封邮件是不是钓鱼」「这段提示词是不是在套越狱」。
- 打分:在 2 到 10 个等级之间评级,返回每级的概率、期望等级和一个置信度。用来看「这个客户有多生气」这种带程度的问题。
一次请求可以带多个问题,共用一个输入。比如同一张工单,同时问归属部门、是否要求退款、紧急程度三件事,前缀只算一遍。
真正要买的功能其实是置信度。传统做法是让生成式模型输出「这是安全类」,再靠关键词判断它有多确定;决策模型直接告诉你 0.93,你就可以把 0.9 以上自动放行、以下的转人工。官方在训练时专门做了校准,还给出一句提醒:阈值要按自己的数据调,别拿榜上的分数直接当阈值用。
Baseten mammoth-1 与 elephant-1 的技术原理
架构上的改动很克制,只在注意力掩码上动刀。Qwen3.5 是混合结构,每四个层里三个是门控线性注意力层,一个是完整注意力层,27B 版本共 16 个这样的单元,9B 版本 8 个。Base Labs 把这些单元里的完整注意力层改成双向掩码,27B 是 16 层,9B 是 8 层,规则是前面的词元看不到后面的,但同一段里的问题能看到自己的选项。
这个改动有两个收益。一是模型在读问题的时候就能看到全部选项,不用靠猜;二是前缀永远不会看到后缀,所以同一请求里前缀的缓存对每个问题完全一样,可以复用。多个问题只需要各自跑一次后缀的前向,前缀只算一遍,这就是它便宜的来源。
官方做了单次消融:同一份数据下,因果掩码得 44.8 分,换成双向之后 48.6,多出 3.8 分。这个数字只跑了一次。Perplexity 的 Decider 也做过类似改动。
训练数据是 621 万条决策样本,官方试到第 8 个配方才定稿。构成上核心决策技能 362 万条,安全与拒答 100 万条,评判与专家领域 100 万条,公开数据 59 万条。数据管线有五道检查,其中标注环节用 5 个模型投票,至少 4 个一致才留下。
榜单第一要拆开看
Jev 决策指数有两个版本在跑。官方发稿引的是 0.4 版,mammoth-1 得 71.24,208 款模型里第一,比亚军 Perplexity Decider v1.2 的 69.42 高 1.8 分。到 10 月 22 日,第三方站已经标出 0.4.1 版的分数:mammoth-1 掉到 68.9,elephant-1 从 62.65 掉到 60.3。领先 1.8 分,掉 2.34 分,这个第一在新版榜上还能不能守住,官方没给答案。
更要紧的是分数的来源。技术报告写得很直白:Jev 决策指数的 Full 分数只由榜方在私有测试上计算,其中 60% 是同类技能题,40% 是新领域题,那 37 个公开基准不进总分。而两款模型在这套私有测试的同类技能部分,五个领域里有三个被对手略微击败。也就是说,拿来当卖点的那个第一,考题是不公开的,而且在不公开的题上它并没有全赢。
Artificial Analysis 的决策指数是另一套账。它由四项各占 25% 组成:知识幻觉、HLE 多选、工具调用、安全分类。mammoth-1 在这里是 65.9,elephant-1 是 65 到 65.2,此前的榜首 d1-ultra 是 65。但要注意口径:elephant-1 的分数是 Baseten 与 AA 合作在发布前跑的,mammoth-1 的 65.9 是 Baseten 自己复现的结果,技术报告里标的就是 our replication。官方通稿只强调 elephant-1 并列第一,没提 mammoth-1 也是第一,这个取舍大概不是笔误。
「快 10 倍」这句话的边界
官方博客的原句是,相比推理模型,决策模型最多能快 10 倍。用的是「一个决策模型可能达到」,不是「这两款模型实测快 10 倍」。58 号技术报告里没有任何速度数据,没有每秒输出、没有延迟,也没说对比的是哪款推理模型。
方向是真的。AA 自己测过:Jev 1.13 每任务 0.13 秒,Claude Haiku 5.5 低档 1.4 秒,差 10.8 倍。但那是 Jev 的数据,不是 mammoth-1 的,也不是 Baseten 测的。拿行业共识当自家产品的实测卖点,这是这篇通稿里最需要打问号的地方。
如何使用 Baseten mammoth-1 与 elephant-1
最简单的路子是白嫖一周。Baseten Model APIs 与 Vercel 的 AI Gateway 都免费开放到 10 月 27 日太平洋时间 23:59,默认零数据保留。调用走 POST https://inference.baseten.co/v1/systemone,请求体给一个 state 和一组带类型的问题。
模型 ID 是 decision-models/baseten-mammoth-27b-latest 和 decision-models/baseten-elephant-9b-latest,Vercel 那边写成 baseten/mammoth-1 和 baseten/elephant-1。ID 里那个 latest 要留意,生产环境最好钉死具体版本,不然哪天权重换了,你的阈值就建立在一套没测过的概率上。
自托管可以走 Hugging Face 的 baselabs 仓库,权重 27B 和 9B 两档,MIT 协议。官方推荐 vLLM 与 SGLang,LM Studio 和 Ollama 也能拉。16K 的序列上限写死在配置里,自己部署也绕不过去。
官方地址与开放范围
- Baseten 发布博客:https://www.baseten.co/blog/the-best-decision-models-in-the-world-mammoth-1-and-elephant-1/
- Base Labs 技术报告(58 号):https://labs.baseten.co/articles/mammoth-1-and-elephant-1-frontier-decision-models
- Hugging Face 权重:https://huggingface.co/baselabs/mammoth-1
- Vercel AI Gateway 免费通道:https://vercel.com/changelog/basetens-mammoth-1-and-elephant-1-now-available-on-ai-gateway-for-free
- 独立评测口径说明:https://artificialanalysis.ai/articles/artificial-analysis-decision-index
同类竞品对比
竞品选 Microsoft-Decision-1,理由是它跟 elephant-1 同一个起点:微软自己说这个模型也是从 Qwen3.5-9B 后训练出来的,规模一致,比的纯粹是数据配方和训练方法。
| 对比维度 | elephant-1 | Microsoft-Decision-1 |
|---|---|---|
| 基座与规模 | Qwen3.5-9B 全量微调 | Qwen3.5-9B 后训练 |
| AA 决策指数 | 65 到 65.2 | 54(Liquid 引用为 53.8) |
| Jev 决策指数 | 62.65(0.4 版) | 无公开分 |
| 最大序列 | 16,384 词元 | 未公布 |
| 权重与许可 | MIT,可自托管 | 闭源,仅 Foundry 与 OpenRouter |
| 价格 | 免费到 10 月 27 日,之后未公布 | 每百万输入词元 0.042 美元 |
两个模型在 AA 上差 11 分以上,起点却一样,这说明在决策这个任务上,基座选谁远不如喂什么数据重要。微软并非没有强项:它的非幻觉率 40%,是决策模型里最高的,每百万任务成本 31 美元也比 Jev 的 42 便宜;弱项在知识类题,HLE 多选不到 15 分,而 Jev 拿了 21。渠道也是它的优势,Foundry 上开箱即用;Baseten 的价格至今没公布。
Baseten mammoth-1 与 elephant-1 的应用场景
工单分流是最直接的用法。把工单正文塞进去,问「归哪个团队」,置信度 0.9 以上自动派单,以下的进人工队列。这一步如果用生成式模型,一条工单要几百个输出词元,而决策模型零输出。
钓鱼与垃圾内容判断也合适。这类请求量大、答案只有两个、错了要有据可查,正好是概率分布能派上用场的地方。提示词护栏是同一个思路,判断用户输入有没有越狱意图,挡在真正的大模型前面。
还有一类用法容易被忽略:给大小模型做路由。先让 elephant-1 判断这个请求难不难,简单的问题交给便宜模型,难的才升级到旗舰。
站内同赛道还有 Strands Decider 2B 和 StartLux-Decision 两篇,前者主打 20 亿参数的极轻量,后者是这条线上较早的开源方案,三篇能看出从 2B 到 27B 的跨度。




