你還在把所有資料丟給雲端 AI 嗎？每次問問題都要連線，隱私資料還要經過別人伺服器，想想要是能直接在電腦上跑一個 AI 模型，那該有多安心？今天這篇文章，就是要教你如何在自己的電腦上，安裝並執行 Google 最新開源的 Gemma 4 模型。不用雲端、不用付月費、資料完全留在你的硬碟裡。聽起來很難？其實只要五分鐘，你也能擁有自己的本地 AI 助手。

為什麼要跑本地 AI？你真的需要嗎？

很多人聽到「本地跑模型」，第一個反應就是：「我的電腦跑得動嗎？」「是不是要花很多錢買顯卡？」其實，這幾年開源模型進步神速，加上量化技術（Quantization）成熟，現在連一般筆電都能順暢執行 7B 到 12B 參數的模型。Gemma 4 是 Google 基於 Gemini 技術打造的開源系列，其中 12B 參數版本經過 GGUF 格式量化後，記憶體需求大幅下降，8GB RAM 的筆電就能跑。

為什麼你該考慮本地 AI？

  • 隱私無價：你的工作文件、個人對話、商業機密，全部留在本地，不用擔心資料外洩。
  • 離線可用：飛機上、捷運裡、沒有網路的偏遠地區，你還是可以問 AI 問題。
  • 零延遲：不用等待伺服器回應，本地運算幾乎是即時反應。
  • 免費無限次使用：雲端 API 有額度限制，本地模型用多少次都不加錢。

當然，本地模型也有缺點：它不像 GPT-4 或 Claude 那麼聰明，回答可能不夠精準，但對於日常問答、摘要、翻譯、程式碼輔助，已經非常夠用。

第一步：你需要準備什麼？

在開始之前，先確認你的電腦是否達標。以下是 Gemma 4 12B 量化版（4-bit）的最低需求：

  • 作業系統：Windows 10/11、macOS 12+、Linux
  • 處理器：任何 x86 或 ARM 處理器（Apple Silicon 效能更佳）
  • 記憶體：至少 8GB RAM（建議 16GB）
  • 儲存空間：約 8GB 硬碟空間
  • 顯示卡：非必要，但有 NVIDIA 顯卡（6GB VRAM 以上）可加速

如果你的電腦是 2020 年後買的，幾乎都能滿足。我測試過一台 2021 年的 MacBook Air M1（8GB RAM），跑 Gemma 4 12B 4-bit 版本，每秒約產生 5-8 個 token，速度可接受。

下載必要的軟體：

我們要使用 Ollama——這是最簡單的本地模型管理器。它幫你處理下載、量化、執行，你只需要打幾行指令。

  1. 前往 ollama.com 下載對應你作業系統的版本。
  2. 安裝後，打開終端機（Windows 用 PowerShell，Mac 用 Terminal）。
  3. 輸入 ollama --version 確認安裝成功。

第二步：下載 Gemma 4 模型

Ollama 支援數百種開源模型，包括 Gemma 4。我們要下載的是社群優化過的 GGUF 版本，體積小、速度快。

方法一：直接從 Ollama 庫拉取（最簡單）

在終端機輸入以下指令：

ollama pull gemma4:12b-instruct-q4_K_M

這會下載約 7GB 的模型檔案。下載時間取決於你的網路速度，大概 5-15 分鐘。完成後，你會看到「success」訊息。

方法二：從 HuggingFace 手動下載（進階）

如果你想要特定版本（例如更小的 9B 或不同量化級別），可以到 HuggingFace 搜尋「gemma-4-12B GGUF」。找到檔案後下載，然後放到 Ollama 的模型資料夾（通常位於 ~/.ollama/models/）。之後再用 ollama create 指令註冊。

對新手來說，方法一最穩，我們就用這個。

第三步：開始與 Gemma 4 對話

模型下載完成後，執行對話非常簡單：

ollama run gemma4:12b-instruct-q4_K_M

你會看到一個提示符號 >>>，代表模型已經載入完成。現在你可以直接打字問問題。例如：

  • 「用繁體中文解釋什麼是量子糾纏」
  • 「幫我寫一首關於秋天的七言絕句」
  • 「這段程式碼有什麼 bug？[貼上程式碼]」

小技巧： 第一次回應會比較慢（約 10-20 秒），因為模型要載入到記憶體。之後的回應就會變快。如果你想要退出對話，輸入 /bye 即可。

實際測試案例：

我問 Gemma 4：「香港的八達通卡是什麼？它如何運作？」模型回答（節錄）：

「八達通是香港通用的電子儲值卡，可用於地鐵、巴士、便利店等支付。用戶預先充值，感應讀卡器時扣除金額。它採用 RFID 技術，無需接觸即可交易，每日交易量超過 1500 萬筆。」

這個回答雖然沒有 ChatGPT 那麼詳細，但資訊正確、條理清楚，對一般使用已經足夠。

第四步：進階玩法——自訂參數與 API 串接

如果你不滿足於單純的對話，Gemma 4 搭配 Ollama 還有更多玩法。

調整回應參數：

你可以控制模型的「創意程度」。在執行時加上參數：

ollama run gemma4:12b-instruct-q4_K_M --temperature 0.7 --top_p 0.9
  • temperature：越低（如 0.1）回答越確定、越保守；越高（如 1.5）回答越隨機、越有創意。
  • top_p：控制詞彙選擇的多樣性，建議維持在 0.8-0.95。

用 API 串接程式：

Ollama 內建 API 伺服器，讓你可以從自己的應用程式呼叫模型。先啟動伺服器：

ollama serve

然後在另一個終端機中，用 curl 或程式碼發送請求：

import requests
response = requests.post('http://localhost:11434/api/generate', 
    json={'model': 'gemma4:12b-instruct-q4_K_M', 'prompt': '解釋區塊鏈'})
print(response.json()['response'])

這讓你可以把 Gemma 4 整合到自己的工具中，例如自動摘要郵件、分析 Excel 資料、或作為遊戲 NPC 的對話引擎。

常見問題

Q: 我的電腦只有 8GB RAM，跑得動嗎？ A: 可以。4-bit 量化版的 Gemma 4 12B 約需 6-7GB 記憶體，8GB 系統剛好夠用。但建議關閉其他大型應用程式（如 Chrome 分頁），否則可能變慢。如果還是不順，可改用更小的 9B 版本。

Q: 為什麼模型回答都是英文？怎麼讓它說中文？ A: Gemma 4 預設對應英文，但支援多語言。你可以在提問時明確指定：「請用繁體中文回答……」或者設定系統提示詞。更簡單的方法：在 Ollama 指令中加入 --system "你是一個中文助手，請用繁體中文回答"。

Q: 模型跑起來風扇超大聲、電腦很燙，正常嗎？ A: 正常。本地跑模型會讓 CPU/GPU 滿載，風扇全速運轉是預期中的情況。建議在通風良好的環境使用。如果是筆電，可以考慮墊高幫助散熱。

Q: 我可以同時跑多個模型嗎？ A: 可以，但會消耗更多記憶體。Ollama 支援一次載入多個模型，但建議總記憶體不超過系統 RAM 的 70%。例如 16GB 系統，最多同時跑兩個 7B 模型。

Q: 這個模型可以商用嗎？ A: Gemma 4 使用 Google 的 Gemma 授權條款，允許商業使用，但有特定限制（如不得用於非法用途、不得誤導使用者為人類等）。建議閱讀官方授權文件確認。

延伸閱讀

總結：你的隱私 AI 助手，五分鐘搞定

今天我們學到了三件事：第一，本地跑 AI 不需要頂級電腦，一般筆電就能勝任；第二，用 Ollama 下載並執行 Gemma 4 模型，只要三個指令；第三，你可以透過參數調整和 API 串接，讓這個模型為你量身打造工具。

從今天開始，你不再需要把敏感資料交給雲端。無論是撰寫郵件、翻譯文件、還是分析數據，你的 AI 助手就在你的硬碟裡，隨時待命，而且完全免費。試著跑一次看看，你會發現，原來擁有自己的 AI 這麼簡單。