五分鐘學會！|省你五小時

為什麼你該學本地跑AI？

你是不是也有這種經驗——每次想用AI做一些私人文件分析、程式碼審查，或者只是想玩玩最新的開放模型，就得把資料上傳到雲端，心裡總覺得毛毛的？更別提那些月費訂閱制，一個不小心就多花好幾千塊。

今天要教你的，就是如何在你自己的電腦上，免費跑Google最新開源的Gemma 4模型。沒錯，就是那個在HuggingFace上短短一週就衝破2076個讚、下載量超過35萬次的超強模型！更棒的是，你不需要什麼頂級顯卡，只要有一台還可以的電腦，就能讓AI乖乖在你家跑。

這篇教學會帶你從零開始，下載模型、安裝工具、執行第一個指令。全程不用花一毛錢，而且你的資料永遠不會離開你的電腦。準備好了嗎？我們開始吧！

什麼是Gemma 4？為什麼它這麼紅？

先簡單科普一下。Gemma 4是Google推出的開源語言模型家族，有2B、9B、12B等不同參數規模。今天我們要玩的是Gemma 4 12B Coder——專門為寫程式和技術問答優化的版本。為什麼它這麼受歡迎？因為它在推理能力和程式碼生成上，表現完全不輸給那些需要付費的大型模型，但體積卻小得多。

更棒的是，社群高手yuxinlu1把這個模型轉成了GGUF格式。GGUF是什麼？簡單說，它是一種經過壓縮和優化的模型格式，讓一般消費者等級的電腦也能跑得動。如果你曾經想玩Llama或Mistral但被硬體門檻嚇到，GGUF就是你的救星。

第一步：下載你的AI模型

好，廢話不多說，我們直接動手。首先，你需要下載模型檔案。GGUF檔案通常放在HuggingFace上，你只需要找到對應的頁面，然後下載適合你電腦的版本。

步驟：

  1. 打開瀏覽器，搜尋 yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1-GGUF。
  2. 進入HuggingFace頁面後，往下滑找到「Files and versions」。
  3. 你會看到一堆.gguf結尾的檔案。差別在哪？q4_K_M、q5_K_M這些是量化等級。數字越低，模型越小、跑越快，但精準度會稍微下降。一般建議從q4_K_M開始試，它平衡了速度和品質。
  4. 點擊你要的檔案，按下「Download」按鈕。檔案大小大約7-8GB，下載時間取決於你的網路速度。

小技巧： 如果你是用Mac，而且有足夠的RAM（16GB以上），可以試試q6_K或q8_0，品質更好。但如果你只是先測試，q4_K_M絕對夠用。

第二步：安裝Ollama——你的AI管家

下載完模型後，你需要一個程式來「載入」並「執行」它。這裡強烈推薦Ollama，它是目前最簡單好用的本地AI執行工具，支援Windows、macOS和Linux。

安裝步驟：

  1. 前往 ollama.com 下載對應你作業系統的版本。
  2. 安裝完成後，打開終端機（Windows是cmd或PowerShell，Mac是終端機應用程式）。
  3. 輸入以下指令確認安裝成功： 
    ollama --version
    如果看到版本號碼，代表安裝成功。

為什麼選Ollama？ 因為它幫你處理了所有麻煩事——記憶體管理、GPU加速、API伺服器，全都自動搞定。你只需要告訴它「我要跑哪個模型」，它就幫你把一切安排好。

第三步：讓Gemma 4在你電腦上跑起來

現在，我們要把剛剛下載的GGUF檔案跟Ollama連接起來。Ollama支援直接讀取本機的GGUF檔案，但你需要先建立一個「模型設定檔」。

建立模型設定檔：

  1. 在你的電腦上隨便開一個資料夾，例如 my_gemma4。
  2. 在裡面新增一個文字檔案，命名為 Modelfile（注意沒有副檔名）。
  3. 用記事本或任何文字編輯器打開它，貼上以下內容： 
    FROM ./gemma-4-12B-coder-fable5-composer2.5-v1-Q4_K_M.gguf
    請把檔名改成你實際下載的檔案名稱。

載入模型：

  1. 把下載的GGUF檔案也放到同一個資料夾。
  2. 打開終端機，切換到這個資料夾： 
    cd 你的資料夾路徑
  3. 執行以下指令來建立並啟動模型： 
    ollama create gemma4-coder -f Modelfile
    這會花幾秒鐘到幾分鐘，取決於你的電腦速度。
  4. 完成後，直接輸入： 
    ollama run gemma4-coder
  5. 恭喜！你現在正在跟Gemma 4對話了！試著輸入「Hello， 你是誰？」，它會回應你。

真實案例： 我自己的MacBook Air M2（16GB RAM）跑q4_K_M版本，回應速度大約每秒5-8個token，寫簡單的Python函式完全沒問題。如果你有NVIDIA顯卡，速度會更快好幾倍。

第四步：進階玩法——用API串接你的工具

只跟模型在終端機裡聊天太無聊了？沒問題，Ollama會自動在背景啟動一個API伺服器（預設是 http://localhost:11434）。這代表你可以用任何程式語言或工具來呼叫它。

用Python串接範例：

import requests
import json

url = "http://localhost:11434/api/generate"
data = {
    "model": "gemma4-coder",
    "prompt": "用Python寫一個讀取CSV檔案的函式",
    "stream": False
}

response = requests.post(url, json=data)
print(response.json()["response"])

為什麼這很重要？ 因為你可以把它整合到VS Code、你的自動化腳本、甚至建立一個本地版的ChatGPT！完全不用擔心API費用或資料外洩。

第五步：效能調校——讓它跑更快

如果你的電腦跑起來有點卡，別擔心，有幾招可以試試：

  1. 降低量化等級： 從q4_K_M改成q3_K_M或q2_K，模型大小會減少一半以上。
  2. 限制上下文長度： 在Modelfile中加入 PARAMETER num_ctx 2048，減少一次處理的文字量。
  3. 使用GPU加速： 如果你有NVIDIA顯卡，確保安裝了CUDA驅動。Ollama會自動偵測並使用GPU。
  4. 關閉其他應用程式： 特別是大軟體如瀏覽器、Photoshop，釋放更多RAM給AI。

總結：你現在可以做到的

到這裡，你已經學會了：

  • 如何下載GGUF格式的Gemma 4模型
  • 如何安裝並設定Ollama
  • 如何在本地執行AI模型，完全離線
  • 如何用API串接你的工具

這代表什麼？你再也不需要為了用AI而把資料交給第三方。寫私人信件、分析公司機密文件、甚至開發自己的AI應用，全部可以在你的電腦上完成。而且，完全免費。

下一步，你可以試試看用這個模型幫你寫一份履歷、分析一篇論文，或者建立一個自動回覆客服系統。只要你想得到，它都做得到。

現在就動手試試看吧！五分鐘的設定，可以省下你未來無數個等待雲端回應的夜晚。

延伸閱讀

常見問題

Q: 我的電腦只有8GB RAM，跑得動嗎？ A: 可以，但建議選擇q2_K或q3_K_M的量化版本。模型大約只會佔用4-6GB RAM，但執行速度會比較慢。另外，關閉所有其他應用程式會很有幫助。

Q: 為什麼我下載的GGUF檔案跟教學裡的檔名不一樣？ A: 很正常！社群會持續更新模型，檔名中的版本號（如v1、v2）會隨時間改變。你只要確認副檔名是.gguf，並在Modelfile中填入正確的檔名即可。

Q: Ollama只能在終端機用嗎？有沒有圖形介面？ A: 有！你可以安裝Ollama Web UI（搜尋「ollama webui」），它會在你的瀏覽器裡提供類似ChatGPT的對話介面，操作更直覺。安裝方式也很簡單，通常一行指令就搞定。

Q: 用本地模型跟ChatGPT比，哪個比較強？ A: 要看任務。Gemma 4 12B在程式碼生成和邏輯推理上表現驚人，但在創意寫作、長篇對話上可能不如GPT-4。最大優勢是隱私和免費，而且可以無限次使用，不用擔心配額。

Q: 我可以用NVIDIA顯卡加速嗎？ A: 可以。只要你的顯卡支援CUDA（NVIDIA GTX 900系列以上），Ollama會自動啟用GPU加速。執行 ollama run 時，你會看到終端機顯示「llm load with GPU」之類的訊息。