EmbeddingGemma 2多模态输入技巧如何把文本、图片、视频和音频混排成一个统一向量【免费下载链接】embeddinggemma-2项目地址: https://ai.gitcode.com/hf_mirrors/google/embeddinggemma-2EmbeddingGemma 2 是 Google DeepMind 开源的多模态嵌入模型EmbeddingGemma 2它能把文本、代码、图片、视频、音频——以及它们的任意组合——映射进同一个 768 维的统一向量空间。本文面向新手讲解如何使用 EmbeddingGemma 2 多模态输入技巧通过占位符标记 任务指令前缀把多种媒体混排进一个输入得到可直接做检索、分类、聚类的统一向量。一分钟了解 EmbeddingGemma 2EmbeddingGemma 2 总参数量仅 740M文本主干 270M 视觉编码器 170M 音频编码器 300M专为手机、笔记本等消费级设备设计支持 100 语言和 8K token 上下文。多模态能力、基准成绩等完整信息见 README.md。它输出的每个向量都是同一种语言一条纯文本查询的向量可以直接和一张商品图 一段演示视频的混合向量做余弦相似度比较——这正是统一向量空间的价值。 关键特性速览原生四模态混排文本、图片、视频、音频共享同一个 768 维空间Matryoshka 截断MRL支持 768 / 512 / 256 / 128 维最高省 6 倍存储任务指令前缀用一行文本前缀就能调优向量质量核心技巧一用占位符把媒体插进文本EmbeddingGemma 2 混排多模态输入的核心机制是占位符 token在文本中写下占位符模型会按顺序把对应键里的媒体填充进去。占位符标记的媒体\|image\|图片\|video\|视频\|audio\|音频以索引一个商品页为例——文本 2 张图 1 段视频emb_interleaved model.encode({ text: Waterproof running shoes. |image| Featuring a breathable mesh upper. |image| Grip test on wet rock: |video|, image: [shoe.jpg, mesh.jpg], video: demo.mp4, })返回的是单个向量同时表示文字、图片和视频可以直接与trail 越野跑防水鞋这样的纯文本查询比较。占位符按出现顺序依次从对应键中取媒体——文本里写几个|image|就要提供几张图顺序必须一致。核心技巧二任务指令前缀只对文本生效EmbeddingGemma 2 训练时使用了短文本指令前缀用对前缀可显著提升向量质量。注意前缀只适用于文本图片、视频、音频一律不加前缀详见 README.md 的 Best Practices 部分。常用前缀清单完整定义见 config_sentence_transformers.json场景任务类型查询前缀网页 / 文档检索非对称task: search result \| query: {query}代码检索非对称task: code retrieval \| query: {query}文本分类对称task: classification \| query: {content}相似度度量对称task: sentence similarity \| query: {content}小技巧在SentenceTransformer中可直接传prompt_nameSearchQuery等名称自动套用对应前缀不用手敲。有标题的文档建议格式化为title: {标题} | text: {正文}无标题时用title: none。核心技巧三算好 8K 上下文预算所有模态共享同一个 8,192 token 上下文窗口每种模态按固定费率扣费模态Token 消耗单模态上限约文本每个子词 1 token8,192 token图片每图 280 token默认~29 张视频每帧 140 token默认~58 帧音频每秒 25 token~327 秒 混排时所有模态从同一预算扣费——媒体越多、留給文本的空间越少。若降低视觉 token 预算软 token 可在 70~1120 间调节图片/视频上限可提高到 ~114 张/帧调高则用延迟换更细的视觉理解。采样默认值视频按1 帧/秒抽帧FPS 可配见 processor_config.json 中fps与max_frames设置音频建议提供16 kHz 单声道见 preprocessor_config.json 的sampling_rate: 16000。快速上手三步跑通多模态嵌入pip install -U sentence-transformers transformersfrom sentence_transformers import SentenceTransformer import torch dtype torch.bfloat16 if torch.cuda.is_bf16_supported() else torch.float32 model SentenceTransformer(google/embeddinggemma-2, model_kwargs{torch_dtype: dtype}) # 混排文本 图片 视频 → 一个统一向量 doc_emb model.encode({ text: Product page. |image| Detail shot: |image|, image: [a.jpg, b.jpg], }) query_emb model.encode(Waterproof trail shoes, prompt_nameSearchQuery) print(model.similarity(query_emb, doc_emb))⚠️ 版本要求sentence-transformers 6.1.0旧版本会忽略多模态 dict 输入的顺序无法把多个媒体放进同一个向量见 config_sentence_transformers.json 的requirements字段。进阶省内存、省存储的三个实用设置1️⃣ 按需加载编码器——视觉、音频编码器是独立组件纯文本场景可省掉 470M 参数启用模态config_kwargs有效规模仅文本{vision_config: None, audio_config: None}270M文本 图片{audio_config: None}440M全模态{}740M编码器结构定义在 config.jsonaudio_config/vision_config段。2️⃣ Matryoshka 维度截断——768 维向量可直接砍短到 512 / 256 / 128 维256 维时质量几乎无损。两个必记规则截断后必须重新 L2 归一化且查询与文档必须使用相同维度。推荐写法model.encode(text, truncate_dim256, normalize_embeddingsTrue)。3️⃣ 数值精度用 bfloat16——不要使用 float16该模型激活值范围超出 float16 动态范围会静默返回 NaN 或劣化向量。CPU 上用 float32。模型默认bfloat16见 config.json 的dtype字段。向量的出厂流水线从 Token 到单位向量混排后的输入在仓库内部经过三级流水线管线清单见 modules.jsonTransformer 编码文本走 24 层主干图片/视频帧走视觉编码器音频走 12 层音频编码器四模态 token 在同一条序列中融合各模态前向配置见 sentence_bert_config.jsonMean Pooling对所有 token 取平均输出 768 维1_Pooling/config.jsonpooling_mode: meanL2 归一化单位化以便余弦相似度计算2_Normalize/config.json占位符在词表中的位置也可查image_token_id、video_token_id、audio_token_id均定义在 config.json 中。常见坑与排查清单占位符数量与媒体数量不匹配按顺序填充多写一个占位符就会报缺媒体128 维慎用于多模态README 基准表显示 128d 下多模态成绩明显下降MMEB 从 59.01 掉到 45.65仅限纯文本场景float16 静默失败分数看起来正常但排名变差时先检查精度设置忘记归一化截断后跳过 re-normalize 是最容易踩的坑——它不会报错只会悄悄拉低排序质量纯文本任务漏前缀不带任务前缀也能跑但精度会下降总结EmbeddingGemma 2 混排输入三句话占位符定位文本中写|image|、|video|、|audio|媒体按顺序对应前缀只给文本媒体输入不加任务前缀文本检索/分类场景加对前缀预算要算清8K 共享窗口图 280 / 帧 140 / 秒 25混排越多每样越少掌握这几点你就可以在笔记本甚至手机上把整页文字 图 视频 声音压缩成一个可检索、可分类的统一向量。项目文件结构一览模型说明与基准README.md模型架构配置config.json提示前缀定义config_sentence_transformers.json多模态处理器参数processor_config.json / preprocessor_config.json嵌入模块结构sentence_bert_config.json / modules.json【免费下载链接】embeddinggemma-2项目地址: https://ai.gitcode.com/hf_mirrors/google/embeddinggemma-2创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考