上星期 Hacker News 出現一則貼文，短時間內衝上 137 分、40 則留言，標題是「Llama.cpp on a jailbroken PS5: run any GGUF model natively on the console」。簡單講，就是有人成功在越獄的 PlayStation 5 上，用 llama.cpp 原生跑起 GGUF 格式的大型語言模型。對香港和台灣的玩家來說，這不只是八卦——很多人手上就有一部 PS5，而它的硬件規格其實相當可觀。

這篇文章會帶你了解三件事：為什麼 PS5 可以跑 AI 模型、llama.cpp 和 GGUF 到底是什麼、以及如果你真的想動手試，實際的流程和風險在哪裡。我們不會給你一條「照抄就成功」的假捷徑，而是讓你看清楚整個技術脈絡，知道自己在做什麼。

為什麼一部遊戲機可以跑 LLM？

PS5 的 APU 是一顆 AMD 定製晶片，包含 Zen 2 八核心 CPU 和 RDNA 2 架構的 GPU，共享 16GB GDDR6 記憶體。這個組合的關鍵在於「共享記憶體」——CPU 和 GPU 用同一塊高速記憶體，不需要像一般 PC 那樣把模型從系統 RAM 複製到顯示卡 VRAM。

跑大型語言模型最吃的是記憶體頻寬和容量。16GB GDDR6 的頻寬高達 448GB/s，比很多入門級顯示卡還要快。這意味著，只要你能讓程式碼在 PS5 上執行，跑一個 7B 到 13B 參數、經過量化壓縮的模型，理論上是完全可行的。Hacker News 上那位開發者做的，正是把 llama.cpp 編譯成 PS5 能執行的原生版本，直接呼叫主機的硬件資源。

llama.cpp 與 GGUF 是什麼？為什麼是它們？

llama.cpp 是一個用 C/C++ 寫成的開源推論引擎，最初由 Georgi Gerganov 開發，專門用來在消費級硬件上高效執行 LLaMA 系列模型。它的最大優勢是「不依賴特定框架」——不需要 Python、不需要 CUDA 生態，只要能編譯 C++，幾乎任何平台都能跑。這也是為什麼它能被移植到 PS5 這種非標準環境。

GGUF 則是 llama.cpp 使用的模型檔案格式，全名是 GPT-Generated Unified Format。它把模型權重、詞彙表和設定打包成單一檔案，並且支援多種量化等級，例如 Q4_K_M、Q5_K_M、Q8_0。量化就是壓縮——把原本 16 位元的權重降到 4 位元或 5 位元，換取更小的記憶體佔用和更快的速度，代價是少許準確度損失。以 7B 模型為例，Q4 量化後大約只需 4GB 記憶體，PS5 的 16GB 綽綽有餘。

實際操作流程：從零到跑起一個模型

以下流程是根據公開技術討論整理的通用步驟。請注意，這些操作需要越獄主機，涉及保固失效和法律風險，我們在文末會詳細說明。

第一步是確認主機狀態。你要有一部韌體版本在越獄範圍內的 PS5，並且已經完成越獄設定。這一步是所有後續工作的前提，沒有它，後面全部免談。

第二步是準備開發環境。你需要一部電腦作為編譯主機，安裝 PS5 的開源 SDK（例如 ps5-payload-dev 相關工具鏈），然後取得 llama.cpp 的原始碼。編譯時要針對 PS5 的作業系統環境調整，主要是處理執行緒和記憶體配置的相容性。這一步對沒有 C++ 編譯經驗的人來說門檻不低，建議先在 Linux 環境熟悉一般的 llama.cpp 編譯流程。

第三步是把編譯好的執行檔和 GGUF 模型檔傳到主機。模型建議從 Hugging Face 下載社群里常用的量化版本，例如 Qwen 或 Llama 系列的 Q4_K_M。檔案動輒 4GB 以上，用 USB 隨身碟傳輸會比網路快得多。

第四步是透過主機的終端機介面執行程式，指定模型路徑和參數。典型指令會像這樣：

./llama-cli -m /data/models/model-q4_k_m.gguf -p "你好，請自我介紹" -n 128

-n 128 代表生成 128 個 token。第一次執行時，觀察記憶體佔用和生成速度，如果出現記憶體不足的錯誤，就換更小的量化版本。實測社群回報，7B Q4 模型在 PS5 上大概能達到每秒數個 token 的生成速度——不算快，但對於「在主機上跑 AI」這個實驗目標來說，已經足夠震撼。

這件事的意義與風險，你該怎麼看？

從技術角度看，這件事的價值不在於「用 PS5 取代你的電腦」，而在於證明了一件事：大型語言模型的推論門檻正在快速下降。當一部 2020 年推出的遊戲機都能跑 LLM，代表未來會有更多意想不到的裝置成為 AI 的載體。對開發者來說，llama.cpp 這種輕量引擎的移植潛力，遠比單一主機的實驗更值得關注。

但風險必須講清楚。越獄會讓主機保固失效，Sony 也可能透過韌體更新封鎖相關漏洞，甚至對改機行為採取法律行動。此外，從非官方來源下載的執行檔和模型，存在惡意程式碼的風險。如果你只是想體驗本地 LLM，一部配備 16GB 記憶體的普通電腦或 Mac，用 Ollama 或 LM Studio 就能做到，安全又簡單，完全不需要動主機。

延伸閱讀

常見問題

Q: 沒有越獄的 PS5 可以跑 llama.cpp 嗎？

A: 目前不行。llama.cpp 需要能在主機上執行自訂程式碼，而正式韌體並不允許。所有公開的 PS5 跑 LLM 案例，都建立在越獄主機之上。

Q: 跑起來的速度實用嗎？

A: 以 7B Q4 模型計算，生成速度大約每秒數個 token，比一般電腦慢，但足以完成文字生成和簡單問答。追求速度的話，建議用電腦或 Mac。

Q: 我需要準備多大的模型檔？

A: 7B 模型的 Q4 量化版本約 4GB，13B 約 8GB。PS5 的 16GB 共享記憶體可以容納，但要留意系統本身也會佔用一部分。

Q: 這樣做會讓主機變磚嗎？

A: 越獄本身有風險，操作失誤可能導致系統不穩定。建議先在可回復的環境測試，並保留原始韌體備份。保固失效是必然的。

Q: 如果我只想學 llama.cpp，有更安全的入門方式嗎？

A: 有。在 Windows、macOS 或 Linux 上用 Ollama 一鍵安裝，或直接編譯 llama.cpp 跑 GGUF 模型，就能學到九成相同的知識，完全不用碰遊戲主機。

總結來說，PS5 跑 llama.cpp 是一個精彩的技術示範，證明了本地 AI 的邊界正在被不斷推開。對大多數讀者而言，真正值得帶走的不是「點樣改機」，而是理解 llama.cpp 和 GGUF 這套輕量工具鏈——它才是讓 AI 走進各種裝置的關鍵。想動手的話，從電腦上的 Ollama 開始，會是更聰明的一步。