EmbeddingGemma 2は、テキストだけでなく画像、音声、動画をひとつの共通空間に埋め込むモデルです。砂浜の犬の写真は「砂浜にいる犬」という言葉の近くに配置され、睡眠について話している録音は「睡眠について話している部分」という言葉の近くに配置されます。コードの読み取りにも対応しています。
詳細な仕様やモデルカードは、Hugging Faceの EmbeddingGemma 2 で公開されています。
モデルの基本仕様
- 公開日: 2026年10月（Google DeepMind）
- パラメータ数: 740M パラメータ（ノートPCで動作するサイズ）
- ライセンス: オープン（Apache 2.0）
- 次元数: 768 次元
- 対応言語: 100 以上の言語（Googleの注記によると、すべての言語で同等の性能があるわけではありません）
- 音声処理: 一度に30 秒間を処理
すべてのデータが同じ768次元の空間に配置されるため、ひとつの検索入力で動画の特定のコマとPDFのページを比較して順位を付けることができます。
DigUpにおける実行の仕組み
DigUpでは、ggml-orgによる8ビット版のEmbeddingGemma 2を llama.cpp を通じて実行します。処理の流れは次のとおりです。
- 指定したフォルダのファイルを、リーダーが画像・テキスト・音声に変換します。
- ヘルパープロセス内でEmbeddingGemma 2が動作し、処理が終わると自動で終了します。
- 各画像、PDFのページ、文章、動画のコマ、30 秒ごとの音声のベクトルと、キーワード索引をひとつのSQLiteファイルに保存します。
- 検索時は、モデルのテキスト部分（約250 MB）のみが読み込まれ、入力された単語をベクトル化して最も近い結果と完全一致の単語を照合します。
MacではMetalを使ってGPU上で動作します。WindowsとLinuxでは、セットアップ時の簡単な確認でプロセッサより高速で同じ結果が得られると判断された場合に、Vulkanを使ってGPU上で動作し、それ以外ではプロセッサ上で動作します。
埋め込みベクトルだけでは請求書番号などの文字列を厳密に保持できないため、DigUpでは完全一致した単語の検索順位を引き上げる処理を行っています。また、インデックスにはベクトルを生成したモデルのバージョンが記録されており、llama.cppの更新時には保存されている基準ベクトルとの比較テストが行われます。
ダウンロード容量の内訳
DigUpの初回起動時にダウンロードされるモデルデータは合計865 MBです。
- テキスト部分: 310 MB
- 画像および音声エンコーダー: 555 MB
DigUpでの利用
このモデルを利用して手元のファイルを検索するデスクトップアプリの詳細は、DigUp Guide（非公式ガイド）トップページ や ダウンロードページ を確認してください。
Gemma は Google LLC の商標です。DigUp Guide（非公式ガイド）は Google との提携や承認関係はありません。