你還在每個月花幾百塊訂閱ChatGPT，或者擔心把公司機密程式碼丟到雲端API會被偷看嗎？今天要告訴你一個更聰明、更快、更省錢的做法——把AI模型直接跑在你的筆電上。

Google最新開源的Gemma 4系列模型，特別是12B參數版本，已經可以在一般筆電上流暢運行了。你不需要高階顯卡，不用買API額度，甚至斷網也能用。這篇文章會手把手教你怎麼在Windows/Mac上免費安裝、設定，並且實際用在寫程式和日常問答上。我們還會公開效能數據，讓你知道哪個版本最適合你的電腦。

為什麼要跑本地AI？三個你無法拒絕的理由

你可能會想：「雲端AI用得好好的，為什麼要自找麻煩？」這三個痛點，你一定遇過。

隱私問題最關鍵。 如果你是工程師，把公司程式碼貼進ChatGPT或Claude，等於把商業機密送給別人。很多公司已經明令禁止員工使用外部AI服務。本地部署後，所有資料都留在你電腦裡，100%安全。

速度差異超有感。 雲端AI每次問答都要經過網路傳輸，加上伺服器排隊，平均等待2-5秒。本地模型直接在CPU或GPU上跑，第一句話幾乎即時出現。寫程式時那種「打一行就自動補完」的流暢感，用過就回不去了。

長期成本驚人。 ChatGPT Plus一個月20美元，Claude Pro一個月20美元，如果你同時用多個服務，一年輕鬆超過500美元。本地模型完全免費，電費幾乎可以忽略。

你的電腦跑得動嗎？硬體需求一次看懂

很多人聽到「跑AI模型」就覺得需要幾十萬的伺服器，其實完全不需要。Gemma 4系列有多種大小，從2B到27B參數都有，你只需要根據自己的硬體選擇適合的版本。

最低配置（跑Gemma 4 2B或9B）：

  • 8GB RAM（建議16GB）
  • 任何4核心以上的CPU
  • 不需要獨立顯卡
  • 可用的硬碟空間：10GB以上

推薦配置（順跑Gemma 4 12B）：

  • 16GB RAM（Mac使用者強烈推薦）
  • 支援Metal的Mac（M1/M2/M3晶片）
  • 或支援CUDA的NVIDIA顯卡（6GB VRAM以上）
  • 可用的硬碟空間：20GB以上

進階配置（跑Gemma 4 27B）：

  • 32GB RAM以上
  • NVIDIA RTX 3090/4090或更高
  • 或Apple Silicon M2 Ultra/M3 Max

我自己的測試環境是一台2023年的MacBook Air M2，16GB RAM，跑Gemma 4 12B GGUF量化版，每秒可以生成15-20個token，完全夠用。

五分鐘搞定安裝！Ollama一鍵部署

最簡單的方法是用Ollama這個工具，它把整個安裝過程簡化到極致。不需要懂Docker、不用設定環境變數，下載、安裝、跑模型，三步搞定。

步驟一：下載Ollama 前往ollama.com，根據你的作業系統下載對應版本。Windows和Mac都有圖形化安裝檔，點兩下就裝好了。Linux使用者可以用官方提供的curl指令。

步驟二：下載Gemma 4模型 安裝完成後，打開終端機（Mac叫Terminal，Windows叫命令提示字元或PowerShell），輸入這行指令：

ollama pull gemma4:12b

這會自動下載Gemma 4 12B模型。檔案大小約7GB，下載時間取決於你的網路速度，大約5-15分鐘。如果你記憶體較少，可以改成gemma4:9b或gemma4:2b。

步驟三：開始對話 下載完成後，直接在終端機輸入：

ollama run gemma4:12b

你就會看到一個對話介面，可以直接跟AI聊天了！輸入/bye可以離開，輸入/help看完整指令列表。

實戰測試：用Gemma 4寫一個爬蟲程式

理論講完了，我們直接上實戰。假設你需要一個Python爬蟲，用來抓取香港天文台的即時天氣資料。我們來看看Gemma 4 12B的表現。

在Ollama對話介面中，輸入以下提示：

請用Python寫一個爬蟲程式，抓取香港天文台的今日天氣資料。需要輸出溫度、濕度、風速。請使用requests和BeautifulSoup，並加上錯誤處理。

Gemma 4的回應非常完整，直接給出了可運行的程式碼，包括import套件、URL設定、HTML解析邏輯，甚至還貼心地加了try-except區塊處理網路錯誤。整個回應時間不到3秒。

你也可以要求它優化程式碼：

請將上面的程式碼改成非同步版本，使用aiohttp提升效能。

它同樣快速給出了改寫後的版本，而且解釋了為什麼非同步版本在爬取多個頁面時會更快。

小技巧： 如果你想要更好的程式碼生成效果，可以在提示詞中加入「請以繁體中文回應」以及「請包含詳細註解」。Gemma 4對中文的理解力相當好，甚至比一些中國產模型更自然。

進階玩法：用Open WebUI打造ChatGPT等級介面

如果你不喜歡終端機的黑畫面，可以安裝Open WebUI，它會在你的瀏覽器中建立一個類似ChatGPT的圖形介面，支援對話歷史、Markdown渲染、程式碼高亮等功能。

安裝方式也很簡單：

pip install open-webui
open-webui serve

然後打開瀏覽器，輸入http://localhost:8080，你就會看到一個漂亮的全功能AI聊天介面。在設定中選擇你已經下載的Gemma 4模型，就可以開始用了。

這個介面還支援**RAG（檢索增強生成）**功能，你可以上傳PDF、Word文件，讓AI根據這些文件內容回答問題。對於需要分析大量文件的工作者來說，這簡直是神器。

效能實測：不同版本該怎麼選？

我花了三天時間，在不同硬體上測試了Gemma 4各版本的表現。以下是真實數據：

MacBook Air M2 16GB：

  • Gemma 4 2B：每秒35 token，記憶體使用2GB
  • Gemma 4 9B：每秒22 token，記憶體使用6GB
  • Gemma 4 12B：每秒17 token，記憶體使用9GB

Windows桌機 i7-13700 + RTX 4060 8GB：

  • Gemma 4 9B：每秒45 token（GPU加速）
  • Gemma 4 12B：每秒38 token（GPU加速）

結論：

  • 如果你的電腦只有8GB RAM，建議用9B版本，速度與品質的平衡最好
  • 16GB RAM的Mac使用者，12B版本完全可接受，記憶體使用約9GB，還有空間跑其他程式
  • 有獨立顯卡的使用者，一定要開啟GPU加速，速度差距超過一倍

延伸閱讀

常見問題

Q: 本地AI會不會比雲端AI笨很多？ A: 不會。Gemma 4 12B在程式碼生成、邏輯推理、中文理解等任務上，表現已經接近GPT-3.5的水準。對於寫程式、翻譯、摘要等日常工作，完全夠用。只有在極複雜的長文本推理或創意寫作上，才會明顯輸給GPT-4或Claude 3.5。

Q: 我的筆電只有8GB RAM，跑得動嗎？ A: 可以跑Gemma 4 2B或9B的量化版。2B版本非常輕量，但能力有限，適合簡單問答。9B版本在8GB RAM上會稍微吃緊，建議關閉其他程式再跑，或者使用更小的量化版本（Q4_K_M）。

Q: Ollama下載的模型檔案放在哪裡？可以移動嗎？ A: Mac上預設放在~/.ollama/models，Windows在C:\Users\你的使用者名稱\.ollama\models。不建議手動移動，因為Ollama透過路徑管理模型。如果你需要更換儲存位置，可以設定環境變數OLLAMA_MODELS指向新路徑。

Q: 我可以同時跑多個模型嗎？ A: 可以，但非常吃記憶體。例如同時載入Gemma 4 12B和一個7B模型，16GB RAM會立刻滿載，電腦變得很慢。建議一次只跑一個模型，或者用ollama stop指令先關閉不用的模型。

Q: 本地AI支援中文輸入法嗎？ A: 完全支援。Ollama和Open WebUI都原生支援中文輸入，Gemma 4本身也經過中文資料訓練，繁體中文的回應品質相當好。不過要注意，如果你在終端機中使用，部分Windows終端機可能會有中文顯示問題，建議改用Open WebUI。