EmbeddingGemma 2 是 Google DeepMind 在 2026 年 10 月发布的多模态向量嵌入模型(详情见 Hugging Face 上的模型主页)。它采用 Apache 2.0 许可证开源,拥有 740M 参数,体积小巧,可以直接在笔记本电脑上运行。
统一的多模态向量空间
EmbeddingGemma 2 将文本、图片、音频和视频映射到同一个共享空间中:海滩上狗的照片会排在“a dog on the beach”这类文字附近;谈论睡眠的录音会排在“where they talk about sleep”附近。所有向量都在同一个 768 维空间中,因此一次查询可以同时对视频画面与 PDF 页面进行比对和排序。
模型的主要特性包括:
- 支持超过 100 种语言,也支持阅读代码。Google 指出,该模型在各种语言上的表现并非完全一致。
- 处理音频时,模型一次读取 30 秒的片段。
- 由于任何向量嵌入都无法精确记录发票号码等特定字符,DigUp 配合了精确关键词增强匹配,以便同时兼顾语义和确切文本。
DigUp 如何在本地运行 EmbeddingGemma 2
DigUp 运行的是 ggml-org 的 8 位(8-bit)版本 EmbeddingGemma 2,通过 llama.cpp 执行推理:
- 在 Mac 上,DigUp 通过 Metal 在显卡(GPU)上运行模型。
- 在 Windows 和 Linux 上,如果在初始设置时的快速检测中发现 Vulkan 显卡(GPU)比处理器运行更快且结果一致,DigUp 会使用显卡(GPU),否则在处理器上运行。
- 索引模型在独立的辅助进程中运行,扫描完成后该进程会自动退出。
- 搜索时仅调用模型约 250 MB 的文本处理部分,并在毫秒内将查询词转化为向量与索引比对。
- 索引存储在单个 SQLite 文件中,记录每张图片、每个页面、每段文本、每个视频帧以及每 30 秒音频的向量,同时维护一份关键词索引。
- 索引会记录生成该向量的模型版本。每次 llama.cpp 更新时,都会先通过参考向量测试对比,若向量未变则保留已有索引。
处理流程
DigUp 处理文件与查询的步骤如下:
- 读取器将你选定文件夹中的文件转换为图片、文本与声音。
- 辅助进程中的 EmbeddingGemma 2 生成 768 维向量。
- 数据存入本地 SQLite 文件,保存多模态向量与关键词索引。
- 搜索时,你的查询词通过模型文本部分转为向量,与本地索引中的最近向量及精确词匹配。
865 MB 下载内容包括什么
首次使用 DigUp 时需要下载 865 MB 的模型数据,仅需在线下载一次:
- 文本部分约占 310 MB。
- 图像与音频编码器约占 555 MB。
在本地使用 DigUp
开源桌面搜索工具 DigUp 将 EmbeddingGemma 2 引入了你的个人电脑,无需把文件上传到云端。你可以前往 DigUp:Mac 本地 AI 文件搜索 了解整体功能,或前往 下载 DigUp 安装包 获取安装包。
Gemma 是 Google LLC 的商标。DigUp Guide(非官方指南)与 Google 无关联。