五分鐘學會！|省你五小時

從HuggingFace下載GGUF模型，本地跑AI超簡單

你是不是也遇過這種情況？想試試最新的開源AI模型，像是GLM-5.2或Gemma 4 Coder，打開HuggingFace頁面，看到一堆檔案格式——safetensors、GGUF、bin、pt…瞬間頭暈。到底要下載哪個？下載完又要怎麼用？

別擔心，這篇就是為你寫的。我們會用最簡單的方式，教你如何在五分鐘內從HuggingFace下載GGUF格式的模型，然後用Ollama或LM Studio在你自己電腦上跑起來。從此不用擔心API費用、隱私問題，也不用被雲端服務綁架。

為什麼是GGUF？這跟其他格式差在哪？

先講一個真實故事。上週我朋友小明想試試最新的Gemma 4 Coder模型，他直接從HuggingFace下載了safetensors格式，結果檔案有24GB，他電腦根本跑不動。後來他找到GGUF版本，只有8GB，而且用Ollama一秒就載入成功。

GGUF（GPT-Generated Unified Format）到底好在哪裡？簡單說，它是一種「量化」格式。想像一下，原始模型就像一本3000頁的百科全書，精確但超級重。GGUF就像把這本百科全書壓縮成精華版，只保留最重要的知識，體積小了好幾倍，但理解能力依然很強。

具體來說，GGUF支援多種量化等級：Q2_K、Q3_K、Q4_K_M、Q5_K_M、Q8_0。數字越大，精度越高，但檔案也越大。對一般使用者，Q4_K_M是最佳平衡點——品質接近原始模型，但檔案只有原本的25%左右。

而且GGUF最大的優點是「即用即跑」。你不用安裝複雜的Python環境，不用設定CUDA，甚至不用懂什麼是張量。下載後直接用Ollama或LM Studio載入，就像打開一個應用程式那麼簡單。

第一步：如何在HuggingFace找到GGUF模型？

很多人不知道，HuggingFace上超過90%的熱門模型都有社群提供的GGUF版本。關鍵是你要知道去哪裡找。

最簡單的方法：在HuggingFace搜尋欄輸入「模型名稱 + GGUF」。例如你想找GLM-5.2，就搜「GLM-5.2 GGUF」。你會看到像「unsloth/GLM-5.2-GGUF」這樣的倉庫，這就是社群幫你準備好的量化版本。

另一個技巧：看模型頁面的「Files and versions」標籤。如果看到副檔名是.gguf的檔案，恭喜你，這就是你要的。通常一個模型會提供多種量化版本，檔名會包含Q4_K_M、Q8_0等標示。

以最近很紅的「yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1-GGUF」為例，你會看到多個GGUF檔案：gemma-4-12B-coder-Q4_K_M.gguf、gemma-4-12B-coder-Q5_K_M.gguf等等。新手建議直接下載標示Q4_K_M的版本，大小適中，速度快。

還有一個實用技巧：注意下載次數和讚數。像「empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF」有13萬次下載，代表很多人用過，穩定性通常較高。

第二步：用Ollama或LM Studio執行GGUF模型

下載完GGUF檔案後，最簡單的執行方式有兩種：Ollama和LM Studio。

用Ollama（適合命令列使用者）

Ollama是目前最受歡迎的本地模型執行工具，支援macOS、Windows和Linux。安裝後，你只需要一個指令就能載入模型：

ollama run <模型名稱>

但如果你下載的是自訂的GGUF檔案，需要先建立一個Modelfile。方法很簡單：

  1. 把你的GGUF檔案放到一個資料夾
  2. 在同資料夾建立一個名為Modelfile的文字檔案，內容只有一行：
FROM ./你的模型名稱.gguf
  1. 執行：
ollama create 你的模型名稱 -f Modelfile
ollama run 你的模型名稱

就這樣。Ollama會自動載入模型，然後你就可以在終端機跟它對話了。

用LM Studio（適合圖形介面使用者）

如果你不習慣命令列，LM Studio是你的好朋友。它提供漂亮的圖形介面，操作直覺：

  1. 下載並安裝LM Studio
  2. 點擊左側的「Local Models」標籤
  3. 點擊「Add Model」→「From File」
  4. 選擇你下載的GGUF檔案
  5. 等待載入完成（通常幾秒鐘）
  6. 開始對話！

LM Studio還內建了模型下載功能，你可以直接在軟體內搜尋GGUF模型，不用手動去HuggingFace。但對於最新或特定的模型，還是建議從HuggingFace下載後手動載入。

第三步：常見問題與效能優化技巧

你可能會問：「我的電腦跑得動嗎？」這是最多人關心的問題。

以8GB記憶體的MacBook Air為例，你可以順暢執行7B參數的Q4_K_M量化模型（約4-5GB）。16GB記憶體則可以跑13B參數的模型。想要跑70B參數的大模型？建議要有32GB以上記憶體，或使用Apple Silicon Mac的統一記憶體架構。

效能優化小技巧：

  • 關閉其他應用程式：瀏覽器很吃記憶體，跑模型前先關掉Chrome的30個分頁
  • 使用GPU加速：在LM Studio中，設定→選擇你的GPU（如果有NVIDIA顯卡或Apple Silicon）
  • 調整上下文長度：預設2048 tokens，如果記憶體不足可以降到1024
  • 選擇合適的量化等級：記憶體不夠時，從Q4_K_M降到Q3_K_S可以省下1-2GB

還有一個很多人不知道的技巧：如果你用Ollama，可以用ollama ps查看目前載入的模型和記憶體使用量。如果發現記憶體不夠，可以用ollama stop <模型名稱>釋放記憶體。

總結：從今天開始，你的電腦就是AI伺服器

學會從HuggingFace下載GGUF模型，等於打開了本地AI的大門。你不再需要依賴API、不用擔心隱私外洩、也不用每個月付訂閱費。

重點回顧：

  1. GGUF是量化格式，體積小、速度快，適合本地執行
  2. 下載Q4_K_M版本是新手最佳選擇
  3. Ollama適合命令列使用者，LM Studio適合喜歡圖形介面的人
  4. 8GB記憶體可跑7B模型，16GB可跑13B，32GB以上可挑戰70B

現在就去HuggingFace找一個你感興趣的模型試試看吧！從GLM-5.2到Gemma 4 Coder，從Qwythos到VibeThinker，整個開源AI世界都在等你探索。

延伸閱讀

常見問題

Q: GGUF和safetensors有什麼不同？我該下載哪個？ A: safetensors是原始未壓縮的權重檔案，體積大但精度最高，適合訓練或微調。GGUF是量化後的格式，體積小、載入快，適合推理使用。如果你只是想「用」模型，而不是訓練它，下載GGUF就對了。

Q: 我下載了GGUF檔案，但Ollama說找不到模型，怎麼辦？ A: 最常見的原因是Modelfile的路徑不對。確認你的GGUF檔案和Modelfile在同一個資料夾，且Modelfile中的檔名完全正確（包含副檔名）。另一個可能是GGUF檔案損壞，重新下載試試。

Q: 我的電腦只有8GB記憶體，能跑什麼模型？ A: 可以跑7B參數的Q4_K_M量化模型（約4-5GB），或3B參數的Q8_0模型（約3GB）。不建議跑13B以上的模型，會導致系統卡頓甚至崩潰。如果一定要跑大模型，可以試試Q2_K量化版本，但品質會明顯下降。

Q: LM Studio和Ollama哪個比較好？ A: 看你習慣。LM Studio有圖形介面，操作直覺，適合新手。Ollama命令列更快、更輕量，適合開發者或喜歡自動化的人。兩者都可以執行GGUF模型，選擇你順手的就好。

Q: 為什麼我下載的模型跑起來很慢？ A: 可能是沒有啟用GPU加速。在LM Studio中檢查設定是否選對了GPU。如果是Mac，確認使用的是Apple Silicon（M1/M2/M3/M4）晶片。另外，量化等級越低（如Q2_K）速度越快，但品質會下降。也可以試著降低上下文長度到1024 tokens。