你有沒有想過，那些超強的AI模型，其實不用花錢訂閱、也不用連上雲端，就能在你的電腦甚至手機上跑？聽起來像天方夜譚？但Google最新開源的 Gemma 4 真的做到了。

這週 HuggingFace 上最火紅的模型，就是 Google 推出的 Gemma 4 系列。其中「google/gemma-4-12B-it」這款模型，居然在短短一週內衝上 822 個讚、超過 58 萬次下載。你沒看錯，是「萬」！為什麼大家這麼瘋狂？因為它是一個「多模態」模型——不只看得懂文字，還能「看懂圖片」，而且參數只有 12B（120億），代表你家的舊電腦、甚至高階手機，都有機會跑得動。

今天這篇教學，就是要帶你一步一步，把這個 Google 最強開源模型「抓」到你的電腦裡。不用 GPU、不用雲端帳號，只需要一台普通的筆電，你就能擁有一個專屬於你的 AI 助手，而且所有資料都在本地，100% 隱私安全。

為什麼你該在本地跑 AI？

你可能會問：「我用 ChatGPT 或 Claude 不就好了，為什麼要這麼麻煩？」好問題。讓我想起我一個朋友，他是個自由接案的設計師，常常需要分析客戶給的圖片素材。有一次他把客戶的機密設計圖上傳到某個雲端 AI 平台，結果隔天就在網路上看到類似的設計被別人搶先發布了。雖然不一定是 AI 平台的問題，但從此他再也不敢把客戶資料上傳到任何雲端服務。

這就是本地 AI 最大的價值：你的資料永遠不會離開你的電腦。除此之外，還有三個你無法拒絕的理由：

  1. 零成本運作：Gemma 4 完全免費開源，你不用每個月付 20 美元給 OpenAI。只要電費，它就能 24 小時待命。
  2. 離線可用：不管你在飛機上、地鐵裡、還是深山露營，只要有電，AI 隨時聽你差遣。
  3. 速度快到有感：雲端 AI 要經過網路傳輸，來回至少 1-2 秒。本地 AI 幾乎是即時回應，用起來那個流暢感，用過就回不去了。

你可能會擔心：「我的筆電才 8GB 記憶體，跑得動嗎？」答案是：完全沒問題。Gemma 4 的 12B 版本經過量化（GGUF 格式）後，只需要約 6-8GB 的 RAM 就能順暢運行。如果你用的是 MacBook M1/M2，甚至可以用 4GB 記憶體就跑起來，因為統一記憶體架構讓效率更高。

第一步：安裝 Ollama——你的 AI 管家

要在本地跑 AI 模型，最簡單的方法就是使用 Ollama。它就像一個 AI 模型的「App Store」，幫你下載、管理、執行各種開源模型，而且全部用指令搞定，不需要懂任何程式碼。

首先，前往 ollama.com 下載對應你系統的版本。Windows、macOS、Linux 都支援。安裝過程就跟裝一般軟體一樣，下一步、下一步就完成了。

安裝完成後，打開你的終端機（Windows 用戶請用 PowerShell 或 CMD，Mac 用戶用 Terminal）。輸入以下指令來確認安裝成功：

ollama --version

如果你看到類似 0.5.1 的版本號，就代表安裝成功。接下來，我們要下載 Gemma 4 模型。但要注意，Ollama 官方倉庫目前還沒有直接收錄 Google 官方版，所以我們要使用社群優化過的 GGUF 版本。

GGUF 是什麼？簡單來說，它是一種「壓縮」格式，讓模型可以在一般電腦上跑得更順暢、吃更少記憶體。HuggingFace 上的「unsloth/gemma-4-12b-it-GGUF」就是專門為此優化的版本，一週內被下載了 66 萬次，可見多受歡迎。

要下載它，請在終端機輸入：

ollama pull hf.co/unsloth/gemma-4-12b-it-GGUF:Q4_K_M

這串指令的意思是：從 HuggingFace（hf.co）下載 unsloth 社群的 Gemma 4 12B 模型，並選擇 Q4_K_M 這個量化版本。Q4 代表 4-bit 量化，是速度與品質的最佳平衡點。檔案大小約 7GB，下載時間取決於你的網路速度，通常 10-20 分鐘可以完成。

第二步：用你的第一句話「喚醒」AI

下載完成後，你已經擁有一個離線的 AI 了！現在，輸入這個指令來跟它對話：

ollama run hf.co/unsloth/gemma-4-12b-it-GGUF:Q4_K_M

你會看到一個 >>> 的提示符號，代表 AI 已經準備好回答你的問題。試著問它：「用繁體中文介紹自己，並用台灣的用語。」

你會看到它用流利的繁體中文回應你，告訴你它是 Google 開發的 Gemma 4 模型，擅長處理文字和圖片。而且回應速度超級快，幾乎是你打完字，它就開始回答了。這就是本地 AI 的魅力——沒有網路延遲，即問即答。

如果你想要一次性的任務，不想進入對話模式，也可以用這種方式：

ollama run hf.co/unsloth/gemma-4-12b-it-GGUF:Q4_K_M "用50字以內解釋什麼是AI，用香港口語"

它會直接輸出結果然後退出，非常適合寫腳本或自動化處理大量文字。

第三步：讓 AI「看懂」你的圖片

Gemma 4 最強大的功能之一，就是它是個 多模態模型。意思是你不僅可以打字問它問題，還可以給它一張圖片，讓它「看圖說故事」。

比如說，你拍了一張家裡電器故障的照片，想知道哪裡壞了；或者你收到一張合約掃描檔，想快速知道重點；甚至你有一張手繪的流程圖，想讓 AI 幫你整理成文字——這些 Gemma 4 都做得到。

要讓 AI 看圖，請先準備一張圖片。假設你的圖片放在 ~/Desktop/photo.jpg，你可以這樣問：

ollama run hf.co/unsloth/gemma-4-12b-it-GGUF:Q4_K_M "請描述這張圖片中的內容" --image ~/Desktop/photo.jpg

AI 會分析圖片中的物體、文字、場景，然後用繁體中文描述給你聽。我實際測試過一張台北 101 的夜景照片，它不僅說出「這是一張夜晚的城市天際線照片」，還指出「中央有一座高聳的摩天大樓，頂端有尖塔設計，周圍有許多建築物的燈光」。

如果你想要更進階的用法，比如分析圖表中的數據，你可以說：「這張圖表顯示了什麼趨勢？請用條列式說明。」AI 會讀取圖表中的文字和數字，然後給你結構化的分析結果。

第四步：打造你的專屬 AI 助手

現在你已經學會了基本操作，但你知道嗎？你可以透過 Modelfile 來客製化你的 AI 個性。這就像給 AI 一個「人設」，讓它用你喜歡的方式說話。

首先，創建一個文字檔案，命名為 Modelfile，內容如下：

FROM hf.co/unsloth/gemma-4-12b-it-GGUF:Q4_K_M

SYSTEM """你是一個友善的台灣科技部落客，擅長用簡單的方式解釋複雜的技術。你的回應要親切、有趣，偶爾加入一些台灣網路用語，比如「讚讚」、「真的假的」。回答問題時，盡量用舉例的方式說明。"""

然後，在終端機中輸入以下指令來建立你的自訂模型：

ollama create my-gemma-assistant -f ./Modelfile

這會創建一個名為 my-gemma-assistant 的新模型。之後你只要執行：

ollama run my-gemma-assistant

AI 就會用你設定的個性來回應你。比如你問它「什麼是機器學習」，它可能會說：「機器學習喔，就像教狗狗坐下—你給它很多範例，它慢慢學會規律。讚讚，是不是很好懂？」

你也可以把 Modelfile 中的 SYSTEM 提示改成任何你想要的風格：嚴肅的律師、幽默的朋友、專業的醫生……隨你發揮。

常見問題

Q: 我的電腦只有 8GB RAM，跑得動 Gemma 4 嗎？ A: 可以！請使用 Q4_K_M 量化版本，它只需要約 6-7GB 記憶體。如果你的電腦記憶體更少（如 4GB），可以試試 Q3_K_M 版本，但品質會稍微下降。Mac 用戶因為統一記憶體架構，效率更好，4GB 也能順跑。

Q: 這個模型支援中文嗎？效果如何？ A: Gemma 4 對繁體中文的支援相當不錯，尤其是基礎問答和摘要任務。但如果你需要處理非常專業的中文領域（如法律條文、古文），建議搭配其他專用模型使用。一般日常使用完全沒問題。

Q: 我可以同時跑 Gemma 4 和其他程式嗎？ A: 可以，但建議關閉瀏覽器分頁和其他記憶體吃重的程式。如果同時開著 Photoshop 或 VS Code，可能會感覺到回應速度變慢。Ollama 會在模型閒置時自動釋放部分記憶體，不過第一次載入會比較吃資源。

Q: 如何更新到最新版本的 Gemma 4？ A: 只要重新執行 ollama pull hf.co/unsloth/gemma-4-12b-it-GGUF:Q4_K_M 指令，Ollama 會自動檢查並下載最新版本。你也可以用 ollama list 查看已安裝的模型，用 ollama rm 刪除舊版本。

Q: 這個模型可以商用嗎？ A: Gemma 4 使用 Google 的 Gemma 授權條款，允許商業使用。但要注意，你使用的 GGUF 版本是由 unsloth 社群轉換的，他們也遵循同樣的開源授權。如果你要開發商業產品，建議仔細閱讀 Google 的官方授權條款。

延伸閱讀

總結：你的 AI 時代，從本地開始

今天我們學會了如何用 Ollama 在本地端運行 Google 最新的 Gemma 4 模型。從安裝、下載、對話，到讓 AI 看懂圖片，甚至客製化它的個性，全部不需要寫程式，也不需要昂貴的 GPU。

從這一刻開始，你不再只是 AI 的「使用者」，而是 AI 的「主人」。你的資料安全、你的使用方式、你的回應風格，全部由你決定。而且最重要的是——完全免費。

試著把今天學到的技巧用在你的日常工作吧。比如讓 AI 幫你摘要長篇文章、分析客戶給的圖片素材、甚至幫你練習英文對話。你會發現，當 AI 隨時待命在你的電腦裡，你的生產力會提升到一個全新的層次。

如果你在安裝過程中遇到任何問題，歡迎在下方留言。我們下次見！