搜尋亂答一通？EmbeddingGemma 2 救你
你有沒有試過，明明把公司內部文件全部丟進 AI，問它一個簡單問題，它卻答得亂七八糟、甚至憑空捏造？問題往往不在大模型本身，而在「檢索」這一步——它根本沒找到對的段落。這正是 RAG（檢索增強生成）最常出事的環節。
上週 HuggingFace 榜單上，Google 的 EmbeddingGemma 2 悄悄拿下 2774 個讚、17 萬次下載，成為本週最受關注的嵌入模型。它不生成文字、不畫圖，卻被視為「RAG 救星」。本文就來實測：這個只有幾百 MB 的小模型，到底能不能治好你那個「亂答一通」的 AI 助手。
為什麼嵌入模型突然變主角？
先講清楚概念。當你把一份 50 頁的 PDF 丟給 AI，系統不會一次讀完，而是把文件切成小段落，再用「嵌入模型」把每段轉成一串數字向量，存進向量資料庫。之後你問問題，系統同樣把問題轉成向量，找出最相似的段落，才交給大模型回答。
換句話說，嵌入模型就是 AI 的「圖書館管理員」。管理員找錯書，再聰明的大模型也只能對著錯的資料胡說八道。過去這個位置長期由 OpenAI 的 text-embedding-3 系列把持，但按用量收費、資料要出境，對香港、台灣的中小企與政府部門來說一直是痛點。EmbeddingGemma 2 的出現，正好戳中這個缺口：開源、可本地部署、免費。
實測重點：它強在哪裡？
根據 HuggingFace 上的模型卡與社群回饋，EmbeddingGemma 2 有幾個值得注意的特點：
一、多語言覆蓋大幅提升。 上一代 Gemma 嵌入模型在中文（尤其繁體）表現只算中規中矩，這一版明顯加強了亞洲語言。對香港讀者最實際的意義是：混雜中英、夾雜廣東話口語的公司內部文件，檢索命中率比舊版有感提升。
二、體積小、跑得快。 與動輒數十 GB 的生成模型不同，嵌入模型輕量得多，一部配備 16GB RAM 的筆記簿電腦或一張入門級顯示卡就能跑。這意味著中小企不必租雲端 GPU，用現有伺服器就能自建檢索系統。
三、與主流框架即插即用。 透過 HuggingFace 的 sentence-transformers 或 LangChain、LlamaIndex 等框架，幾行 Python 就能載入。對已經在用 RAG 的團隊來說，替換成本極低——這點很重要，因為很多企業最怕的就是「又要重寫整套系統」。
實測流程大致如下：安裝 sentence-transformers → 載入 google/embeddinggemma-2 → 把公司文件切段並批次轉向量 → 存入 Chroma 或 Qdrant 等向量資料庫 → 查詢時先檢索再交給大模型。整個過程熟手的話，一個下午就能跑通一個 demo。
限制與要留意的地方
天下沒有免費午餐，這模型也有明顯短板。
第一，它不是生成模型。 很多人看到「Gemma」就以為是聊天機械人，其實它只負責檢索。你仍然需要另一個大模型（可以是本地 Llama、DeepSeek，也可以是 API）來生成答案。別搞錯用途。
第二，繁體中文仍需自行驗證。 官方評測以英文與多語言基準為主，繁體中文的實際表現，最好用你自己行業的語料做小規模測試。金融、法律這類術語密集的領域，建議先跑 50 至 100 條真實問題，對比舊模型命中率再決定是否全面替換。
第三，維運成本轉移。 免費的是授權，不是總成本。自建檢索系統需要有人維護向量資料庫、處理文件更新、監控檢索品質。對完全沒有 IT 人手的小店來說，直接用雲端 API 可能反而更省事。
定價：免費，但你要算清「隱形成本」
EmbeddingGemma 2 採用開放授權，模型本身免費下載、可商用（具體條款請以官方模型卡為準）。對比 OpenAI 的嵌入 API 按 token 收費，處理上百萬份文件時，自建方案的邊際成本幾乎為零。
但要把賬算清楚：自建需要伺服器或顯示卡（一次性數千至數萬港元）、工程師設定與維護時間、以及向量資料庫的儲存空間。若你的文件量不大、查詢量不高，雲端 API 每月幾百元的賬單，可能比自建更划算。判斷標準很簡單：文件量以百萬段計、或資料敏感不能出境，才值得自建。
誰應該用？誰可以先觀望？
適合用： 有內部知識庫、客戶資料不能上雲的香港金融與醫療機構；想擺脫 API 費用、文件量大的台灣電商與內容平台；以及正在開發 RAG 產品的獨立開發者。
可以先觀望： 完全沒有技術人手的小型公司；文件量少於幾千段、查詢頻率低的團隊；以及已經用 OpenAI 嵌入 API 且效果滿意的用戶——除非你有明確的資料主權或成本壓力，否則不必為換而換。
延伸閱讀
結語：小模型，大意義
EmbeddingGemma 2 不會登上新聞頭條，但它代表的趨勢值得香港、台灣讀者留意：AI 競賽正從「誰的模型最大」轉向「誰的檢索最準、部署最省」。當開源嵌入模型追平商用 API，企業自建 RAG 的門檻就被徹底拉低。如果你正被 AI「亂答一通」困擾，與其換更貴的生成模型，不如先檢查你的圖書館管理員——它可能才是問題所在。