EmbeddingGemma 2是什么
EmbeddingGemma 2 是 Google DeepMind 在 2026 年 10 月 6 日发布的开源嵌入模型,把文本、代码、图像、视频、音频五种内容统一映射到同一个 768 维向量空间。总参数 7.4 亿,由 2.7 亿的文本主干、1.7 亿的视觉编码器和 3 亿的音频编码器拼装而成,可以按需加载。它基于 Gemma 4 架构,沿用与 Gemini Embedding 系列同源的技术,以 Apache 2.0 许可发布,上下文扩到 8K,支持把输出向量从 768 维截到 128 维。适合端侧语义搜索、代码库索引、离线 RAG 这类需要本地处理数据的场景,量化后纯文本权重只占约 191MB 运行内存。
嵌入模型做的事情,是把一段内容算成一串数字,让机器能判断两段内容像不像。它不生成文字,只负责把内容摆到同一个坐标系里。上一代 EmbeddingGemma 在 2025 年发布时只处理文本,官方称下载量已超过 2000 万次。这一代的变化是从文本往外扩,代码、图像、视频、音频都进了同一个空间,用一段语音备忘录就能找到对应视频。
谷歌开源的 7.4 亿参数多模态嵌入模型,文本、代码、图像、视频、音频共用同一个向量空间
EmbeddingGemma 2的主要功能
- 五个模态一个空间:文本、代码、图像、视频、音频都被映射到同一个 768 维空间,跨模态检索不需要中间转换层,还原生支持文字与图片混排的交错输入。
- 模块化加载:纯文本任务只加载 2.7 亿参数的文本主干,加视觉编码器到 4.4 亿,加音频编码器到 5.7 亿,全部带上才是 7.4 亿。同一个检查点按用途组合,不必为纯文本任务扛全量权重。
- 向量维度可截断:借助 Matryoshka 表示学习,输出向量可以从原生 768 维裁到 512、256 或 128 维,本地向量库的存储和内存占用最多压到六分之一。
- 任务指令前缀:用一段轻量文字前缀告诉模型这次是做搜索、分类、聚类还是算语义相似度,同一个模型不用微调就能切换用途。
- 多语言与代码:覆盖 100 种以上语言,代码检索能力相比上一代有明显提升,官方称代码任务相对提升约 14%。
- 长上下文处理:8K 上下文窗口,一次可装下 29 张图像、58 个视频帧或 5.5 分钟音频。
EmbeddingGemma 2的技术原理
- 架构沿用 Gemma 4:模型共 24 层,模型维度 512,隐藏维度 2048,词表 262144,注意力采用分组查询与多查询混合方案,局部与全局注意力的比例是 5 比 1,滑动窗口为 1024 个 token。
- 编码加池化的输出路径:各模态编码器把输入压成序列表示后,经平均池化得到 512 维向量,再通过投影层升到 768 维,这就是入库的嵌入。文本主干由 1.3 亿参数的 transformer 和 1.4 亿参数的嵌入层组成。
- 每个模态有固定的 token 预算:一张图像占 280 个 token,一个视频帧占 140 个,每秒音频占 25 个。这个换算方式决定了 8K 窗口能装多少内容,也解释了为什么上限是 29 张图或 5.5 分钟音频。对 词元 这个概念不熟的话,可以先看那篇入门内容。
- 交错输入用占位标记:文字和媒体混排时,每个媒体项在序列里占一个占位 token,模型据此知道这一段对应哪张图或哪段音频。
- 没有做安全对齐:模型卡明确说明这是预训练嵌入模型,没有经过后训练对齐、安全调优或输出层面的内容审核,安全缓解措施集中在预训练数据过滤,包括有害内容与个人信息的自动清除。
如何使用EmbeddingGemma 2
- 方式一:下载权重本地跑:权重在 HuggingFace 的
google/embeddinggemma-2仓库和 Kaggle 发布,采用 Apache 2.0 许可,兼容 transformers、Ollama、LM Studio 等工具。 - 方式二:在浏览器里跑:通过 transformers.js 和 WebGPU 直接在网页端推理,官方给出的单次查询延迟在 20 到 70 毫秒之间,不需要 API 密钥,数据不出设备。
- 方式三:集成进端侧 App:可以用 Google AI Edge 的 MediaPipe 做跨平台应用,或者用 LiteRT 做自定义模型集成,面向手机和笔记本这类消费级硬件。
- 和 Gemma 4 搭配做离线 RAG:两者共享文本分词器和音频编码器,可在同一条管线里一起跑,合计内存占用比各跑各的更低,全程可离线。
- 先想清楚要哪几个模态:只做文本检索没必要加载视觉和音频编码器,按用途挑加载组合,是控制内存最直接的办法。
EmbeddingGemma 2的核心优势
- 许可彻底开放:Apache 2.0 是商用友好许可,可自由下载、修改、分发和商用,不需要另行申请授权。
- 体积压得住:量化后在 Google Pixel 11 Pro 上,纯文本权重占约 191MB 运行内存,完整多模态模型约 567MB。
- 存储能省下来:100 万条 768 维向量按 bf16 精度存储约占 1.5GB,截到 128 维后约 250MB,对本地向量库是数量级的差别。
- 五种模态一个模型搞定:音频和视频的嵌入原本要另找专用方案,现在一套权重覆盖,管线里少一个模型和一种接口。
- 和 Gemma 4 同源:共享分词器和音频编码器这一点,在同时需要生成和检索的端侧应用里能省内存。
- 上下文是上一代的四倍:从文字版的两千 token 级别扩到 8K,长文档和多媒体不必再切得那么碎。
EmbeddingGemma 2的同类竞品对比
开源多模态嵌入这条线上,路线最接近的是 Jina AI 的 jina-embeddings-v4。它同样把文本和图像映射进一个空间,同样支持向量截断,但走的是更大体量、更长上下文的路线。
| 对比维度 | EmbeddingGemma 2 | jina-embeddings-v4 |
|---|---|---|
| 总参数 | 7.4 亿 | 38 亿 |
| 覆盖模态 | 文本、代码、图像、视频、音频 | 文本、图像、PDF |
| 上下文长度 | 8K token | 32K token |
| 输出形式 | 单向量 768 维,可截到 128 维 | 单向量 2048 维,另支持后期交互多向量 |
| 权重许可 | Apache 2.0 | Qwen Research License,非商用 |
| 视觉文档检索 | 无公开分数 | ViDoRe 平均 84.11 |
| 语言覆盖 | 100 种以上 | 29 种支持语言 |
这张表里有几件事需要说明。第一,「首个开源多模态嵌入模型」这个说法站不住。OpenAI 的 CLIP 在 2021 年就以 MIT 许可开源了图文嵌入,智源的 BGE-VL 发布于 2024 年,jina-embeddings-v4 是 2025 年 6 月,Meta 的 ImageBind 甚至覆盖六种模态。准确的说法应该是首个把文本、代码、图像、视频、音频统一进单一空间、并且面向端侧的开源嵌入模型,把「多模态开源」这顶大帽子扣上去并不成立。第二,jina-embeddings-v4 有几项明确更强,参数大约五倍,上下文长四倍,视觉文档检索有 ViDoRe 平均 84.11 的成绩,还独有后期交互的多向量输出,重排序场景精度更高。第三,但它的权重许可是 Qwen Research License,非商用需要另行安排,而 EmbeddingGemma 2 的 Apache 2.0 没有这类限制。第四,两者模态覆盖不同,一个含音频视频、一个含 PDF,部分榜单不能直接对比。第五,上表所有分数都是谷歌自报,没有第三方复现,报道这一消息的科技媒体在标题里用的也是谷歌「声称」这样的措辞。
EmbeddingGemma 2的项目地址
- HuggingFace 权重:https://huggingface.co/google/embeddinggemma-2
- 官方模型卡:https://ai.google.dev/gemma/docs/embeddinggemma/model_card_2
- 发布博客:https://blog.google/innovation-and-ai/technology/developers-tools/embeddinggemma-2/
- 竞品 jina-embeddings-v4:https://jina.ai/models/jina-embeddings-v4
EmbeddingGemma 2的应用场景
- 端侧语义搜索:在手机或笔记本上为本地文档、照片、录音建索引,查询全在设备内完成,原始数据不上传服务器。
- 代码库索引与语义代码搜索:把整个代码仓库嵌入后按语义查找实现片段,这是这一代提升最明显的能力,官方报的 MTEB Code 分数从 68.76 提到 78.68。其他编程辅助方案可看 AI 编程工具分类。
- 离线 RAG 管线:和 Gemma 4 这类小模型搭配,在完全断网的环境里完成检索增强生成,适合处理涉密或隐私敏感的材料。
- 跨模态媒体检索:用一句文字找几个小时录音里的某个片段,或者用一段语音备忘录定位视频画面,这类需求过去要拼多个专用模型。
- 分类与聚类:把评论、工单、素材按语义自动归堆,任务指令前缀可以直接切换用途,不用为每种任务单独训练。同类工具可看 AI 智能体分类。谷歌这条线上我们写过 Gemini 4 Argon,开源轻量模型这条线还有 openPangu-2.0 可以参考。




