你還在用 ChatGPT 寫程式嗎?每次都要開瀏覽器、等回覆、還怕對話記錄外洩。
今天要告訴你一個更猛的方法:直接在你自己電腦上跑 Google 最新開源的程式碼 AI 模型——Gemma 4 Coder。
這個模型在 HuggingFace 上才發佈一週就衝破 31 萬次下載,2000 多人按讚。為什麼這麼紅?因為它專為寫程式而生,而且 Google 把它完全開源,任何人都可以免費下載、離線使用、不用擔心隱私問題。
更棒的是,你不需要頂級顯卡。只要 8GB RAM 的普通筆電就能跑。
這篇教學會帶你從零開始,一步步設定好本地 AI 程式助手。你會學到:怎麼下載 GGUF 格式的模型、用哪個工具跑最方便、以及實際寫程式的技巧。最後還有常見問題解答,幫你避開新手最容易踩的坑。
準備好了嗎?讓我們開始吧。
為什麼要在本機跑程式碼 AI?
很多人會問:「用 ChatGPT 或 Claude 不就好了?為什麼要搞這麼麻煩?」
有三個關鍵原因。
第一,隱私安全。 你公司的程式碼可能含有商業機密。把原始碼貼到雲端服務,等於把機密交給別人。在本地跑模型,所有資料都不離開你的電腦。
第二,永遠免費。 ChatGPT Pro 一個月要 20 美元,Claude Pro 也是。而且還有用量限制。開源模型下載後,你想用多少次就用多少次。
第三,速度超快。 不用等網路傳輸,不用排隊。模型就在你電腦裡,秒回。
我認識一個在台北接案的前端工程師阿豪,他原本每個月花 40 美元在 AI 訂閱上。改用本地模型後,不僅省下這筆錢,還因為離線也能用,在捷運上就能改程式碼。
第一步:下載 GGUF 模型檔
首先,我們需要拿到 Gemma 4 Coder 的 GGUF 版本。
GGUF 是 llama.cpp 團隊開發的格式,專門讓模型能在一般電腦上高效運作。它把模型壓縮、量化,讓記憶體用量大幅降低。
去哪下載?
到 HuggingFace 搜尋「yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1-GGUF」。
你可能會問:「為什麼不是直接抓 Google 官方版?」因為 GGUF 是社群優化過的版本,跑起來更順、更省記憶體。
點進頁面後,你會看到很多檔案:
gemma-4-12B-coder-fable5-composer2.5-v1-Q4_K_M.gguf— 推薦新手用這個gemma-4-12B-coder-fable5-composer2.5-v1-Q5_K_M.gguf— 品質更好但需要更多記憶體gemma-4-12B-coder-fable5-composer2.5-v1-Q8_0.gguf— 品質最高,但至少需要 16GB RAM
如果你是第一次嘗試,直接下載 Q4_K_M 版本。這個檔案約 7GB,8GB RAM 的電腦就能順跑。
下載方法很簡單:點檔案名稱,然後按右邊的「Download」按鈕。或者用 git lfs 指令:
git lfs install
git clone https://huggingface.co/yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1-GGUF
下載完成後,把 .gguf 檔案放到一個你記得住的資料夾,例如 C:\models\ 或 ~/models/。
第二步:安裝執行工具
有了模型檔,我們需要一個工具來「載入」它。我推薦 LM Studio,因為它圖形化介面、操作簡單,支援 Windows、Mac、Linux。
下載 LM Studio:
到 lmstudio.ai 下載對應你作業系統的版本。安裝過程很直覺,一直按下一步就好。
載入模型:
- 打開 LM Studio
- 點左側的「Local Models」分頁
- 按「Add Model」按鈕
- 選擇「From File」
- 找到你剛剛下載的
.gguf檔案 - 載入完成後,模型會出現在列表中
設定模型參數:
點選模型名稱,進入設定頁面。有幾個關鍵參數:
- Context Length(上下文長度): 預設 2048,建議調到 4096,讓模型能記住更多程式碼上下文
- GPU Offload(GPU 卸載): 如果你有 NVIDIA 顯卡,把這個拉到最大,速度會快很多。沒有顯卡就設 0
- Threads(執行緒): 設成你 CPU 的核心數。不確定就設 4
設定完後,按「Start Server」。
你會看到一個綠燈亮起,表示模型正在背景運行。這時候,你就可以開始用了。
第三步:實際寫程式——三種用法
模型跑起來了,現在來看看怎麼用它寫程式。
用法一:內建聊天介面
LM Studio 有內建聊天視窗。你可以在裡面直接問問題,像用 ChatGPT 一樣。
例如,你可以輸入:
「用 Python 寫一個函數,讀取 CSV 檔案,計算每一欄的平均值,然後輸出成表格。」
模型會立刻回覆完整的程式碼,還會附帶說明。
用法二:程式碼補全(Code Completion)
這是最強大的功能。LM Studio 支援類似 GitHub Copilot 的程式碼補全。
你需要安裝一個外掛——Continue(continue.dev)。
安裝步驟:
- 在 VS Code 中,按
Ctrl+Shift+X開啟擴充套件 - 搜尋「Continue」
- 安裝後,按
Ctrl+Shift+P,輸入「Continue: Open Config」 - 在設定檔中,把模型指向你的本地 LM Studio:
{
"models": [{
"title": "Gemma 4 Coder",
"provider": "lmstudio",
"model": "gemma-4-12B-coder"
}]
}
設定完成後,你在 VS Code 寫程式時,按下 Tab 鍵,模型就會自動補完程式碼。
用法三:API 呼叫
如果你習慣用其他編輯器,或想寫腳本自動化,LM Studio 也提供相容 OpenAI 的 API。
預設的 API 端點是:http://localhost:1234/v1
你可以用任何 OpenAI 相容的函式庫來呼叫。例如用 Python:
from openai import OpenAI
client = OpenAI(base_url="http://localhost:1234/v1", api_key="not-needed")
response = client.chat.completions.create(
model="gemma-4-12B-coder",
messages=[
{"role": "user", "content": "寫一個 JavaScript 函數,反轉字串"}
]
)
print(response.choices[0].message.content)
這個方法特別適合整合到你的工作流程中,例如自動產生測試案例或程式碼審查。
效能調校與常見陷阱
跑本地模型不是裝好就沒事。以下幾個技巧能讓你的體驗更好。
記憶體管理: 如果你的電腦只有 8GB RAM,關閉瀏覽器分頁和 Chrome。瀏覽器是記憶體怪獸,會讓模型變慢。
使用 GPU: 如果你有 NVIDIA 顯卡,LM Studio 支援 CUDA 加速。在設定中把 GPU Offload 調到最大,推理速度可以快 3-5 倍。
量化選擇: Q4_K_M 是最佳平衡點。如果你有 16GB RAM 以上,可以試 Q5_K_M 或 Q8_0,程式碼品質會更好。
不要貪心: 12B 參數的模型雖然強,但如果你問超大專案的問題,它會變慢。把問題拆小,一次問一個函數或一個模組。
總結
今天你學會了三件事:
- 下載 Gemma 4 Coder GGUF 模型——選 Q4_K_M 版本,適合 8GB RAM
- 用 LM Studio 執行模型——圖形化介面,不用寫指令
- 三種寫程式方式——聊天、補全、API,任你選
現在就試試看吧。下載模型、安裝 LM Studio、打開 VS Code,開始用你電腦裡的 AI 寫程式。
不用繳月費、不用擔心隱私、離線也能用。這才是真正的 AI 自由。
延伸閱讀
常見問題
Q: 我的電腦只有 8GB RAM,跑得動嗎? A: 可以。下載 Q4_K_M 量化版本,關閉其他應用程式,就能順暢運行。如果還是卡,可以調低 Context Length 到 2048。
Q: 跟 ChatGPT 比,Gemma 4 Coder 寫程式強嗎? A: 在純程式碼任務上,Gemma 4 Coder 表現接近 GPT-4。但聊天能力和創意寫作不如 ChatGPT。它是專精型選手,不是全能型。
Q: 可以用 Mac 跑嗎? A: 可以。LM Studio 支援 Apple Silicon(M1/M2/M3)晶片。而且因為統一記憶體架構,Mac 跑大模型反而比同 RAM 的 Windows 筆電順。
Q: 模型下載很慢怎麼辦? A: 檔案約 7GB,可以試試用 HuggingFace 鏡像站。或者用 BitTorrent 方式下載,有時更快。也可以分段下載,LM Studio 支援斷點續傳。
Q: 為什麼我問的問題,模型回答很奇怪? A: 可能是 Prompt 沒寫好。試試用更清楚的指令,例如「用 Python 3.10 寫一個函數,輸入是字串列表,輸出是去重後的列表」。具體的指令會得到更好的結果。