27B模型自己跑?|三步唔使雲端

上星期 Qwen3.8-27B 喺 Hugging Face 一星期暴漲兩萬幾個讚、下載量突破六百六十萬次,呢個數字代表咩?代表全世界嘅開發者同企業都喺度諗同一件事:有冇辦法唔使租雲端、唔使畀月費,都可以用一個夠聰明嘅大模型?

答案係有嘅,而且比你想像中簡單好多。今日呢篇教學,我會帶你由零開始,喺自己部電腦(或者一部唔算貴嘅迷你主機)上面跑起 Qwen3.8-27B,全程三個主要步驟,唔使寫複雜程式碼,唔使識 Linux 都可以跟住做。如果你一直覺得「本地跑大模型」係工程師先做得到嘅事,睇完呢篇你會發現:其實同裝一個 App 差唔多難度。

為什麼 27B 模型值得你自己跑?

先講一個好多香港同台灣讀者最關心嘅問題:點解要自己跑,唔用 ChatGPT 或者 Gemini 就算?

原因有三個。第一係私隱。你公司嘅合約、客戶名單、內部財報,如果每次都要貼上雲端,唔少企業其實過唔到內部審批。第二係成本。API 按 token 收費,用量一大,一個月幾千蚊港紙好平常;但本地模型跑起之後,電費同硬件折舊係固定成本,用幾多都唔會再加錢。第三係穩定同可控。你唔會因為對方改咗政策、加價、或者封鎖地區而突然用唔到。

Qwen3.8-27B 呢個尺寸特別啱「自己跑」——27B(270 億參數)唔算細,中文理解同推理能力已經相當夠用;但亦未至於大到要幾張專業顯示卡先推得郁。用適當嘅量化技術,一部有 32GB 記憶體嘅電腦已經可以行得順。

第一步:搞清楚你部機夠唔夠力

呢一步係最多人卡住嘅地方,所以我們講清楚規格,唔使你行冤枉路。

本地跑模型最關鍵嘅唔係 CPU 幾快,而係記憶體(RAM)同顯示卡記憶體(VRAM)。一個 27B 模型如果用 FP16 全精度,大約要 54GB;但用 4-bit 量化(Q4_K_M)之後,大約只需 16 至 18GB。呢個就係關鍵數字。

以下係三個實際可行情境,你可以對號入座:

情境一:Mac 用戶(最推薦新手) 如果你用 Apple Silicon 嘅 Mac(M1/M2/M3/M4),只要係 32GB 統一記憶體版本或以上,基本上開箱即用。Mac 嘅統一記憶體架構對跑大模型極之友善,32GB 版本跑 Q4 量化嘅 27B 模型綽綽有餘。16GB 版本就要用更激進嘅量化(Q3),質素會打折扣。

情境二:Windows 桌機 有獨立顯示卡最好。RTX 4060 Ti 16GB、RTX 4070 Ti Super 16GB 或以上,可以將大部分模型層放上 GPU,速度最快。如果顯示卡只有 8GB VRAM,都仲行得,但要靠系統 RAM 補足,速度會慢一截(大約每秒 3 至 8 個 token,仍然可用)。

情境三:冇獨顯嘅文書機 32GB RAM 嘅普通筆電都跑得,只係速度慢,適合「唔急、想離線用」嘅情境。如果部機只有 16GB RAM,建議揀細一級嘅模型,唔好硬上 27B。

一句總結:32GB 記憶體係甜蜜點,有獨顯就更快。

第二步:用 Ollama 三步裝好環境

好,硬件過關之後,真正嘅安裝只有三步。我們用 Ollama,因為佢係目前最傻瓜化嘅本地方案,Mac、Windows、Linux 都有安裝包。

步驟一:下載並安裝 Ollama 去 ollama.com 下載對應你系統嘅安裝檔,雙擊安裝。裝完之後,Mac 會喺選單列見到一個小圖示,Windows 就喺系統托盤。呢個時候你已經有一個本地 AI 引擎喺度跑,只係仲未有模型。

步驟二:開啟終端機,拉取模型 打開「終端機」(Mac)或者「PowerShell」(Windows),輸入以下指令:

ollama run qwen3.8:27b

第一次執行會自動下載模型檔案,大約 16 至 17GB,視乎你嘅網速,可能要等半個鐘到兩個鐘。下載完成之後,你會直接見到一個 >>> 提示符,代表模型已經跑起,可以即刻打字同佢對話。試下打「用繁體中文介紹你自己」,睇下反應速度。

步驟三:調校量化與上下文長度 如果你想控制質素同速度嘅平衡,可以喺拉取時指定量化版本:

ollama run qwen3.8:27b-q4_K_M

Q4_K_M 係公認嘅「性價比之王」——質素損失極細,但記憶體佔用大減。如果你部機記憶體好充裕(例如 64GB),可以試 q8_0 版本,質素再上一層。另外,如果你想餵長文件(例如一整份 PDF 合約),可以設定上下文長度:

ollama run qwen3.8:27b --context-length 32768

呢個設定會增加記憶體用量,建議逐級試,唔好一次開到最大。

第三步:接上圖形介面,變成日常工具

用終端機打字雖然型,但日常用始終唔方便。呢一步教你接一個免費嘅圖形介面,令佢用起上嚟同 ChatGPT 幾乎一樣。

最簡單嘅選擇係 Open WebUI,佢係一個開源嘅網頁介面,可以喺自己部機開一個本地網址,用瀏覽器就用得。安裝方法(需要先裝 Docker)只需一行指令:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main

裝好之後,喺瀏覽器打開 http://localhost:3000,你就會見到一個同 ChatGPT 極之相似嘅介面,左邊可以開唔同對話、上載文件、設定系統提示詞(system prompt)。佢會自動偵測到你本機嘅 Ollama 模型。

實用貼士: 喺 Open WebUI 嘅設定入面,可以為 Qwen3.8-27B 寫一段固定嘅系統提示,例如「你係一位熟悉香港稅務同公司條例嘅助理,一律用繁體中文回答,引用資料時要註明來源」。設定一次,之後每次開新對話都會自動套用,唔使每次重複打。

如果你想再進一步,可以將佢接入 VS Code(用 Continue 插件)做寫程式助手,或者接入 Obsidian 做筆記摘要。呢啲都係本地模型先做得到嘅事——因為你嘅原始資料從來冇離開過你部機。

實際體驗:值唔值得花時間?

我用一部 32GB 嘅 MacBook Pro(M3 Pro)實測,Q4_K_M 量化嘅 Qwen3.8-27B 大約每秒生成 18 至 22 個 token,即係打一段 200 字嘅中文回覆大約 10 秒內完成,同雲端模型嘅體感差距唔算大。中文理解方面,佢處理香港常用嘅中英夾雜句子相當自然,寫電郵、改文案、整理會議記錄都勝任。

要留意嘅係,27B 始終唔係頂級旗艦,遇到極複雜嘅多步推理(例如好深的數學證明或者大型程式重構),質素會比雲端最強模型差一截。所以最聰明嘅用法係「分工」:日常、敏感、重複性高嘅工作交畀本地模型;真正困難嘅一次性難題,先至開雲端。咁樣既省錢,又保住私隱。

最後提一句:跑模型會令部機熱同耗電,建議喺插電狀態下用,唔好用電池跑長時間任務。如果你係公司想部署畀幾個同事共用,可以將 Ollama 裝喺一部固定嘅主機,其他人經內網連去 Open WebUI,成本比每人一個 API 帳戶平好多。

延伸閱讀

常見問題

Q: 我部電腦只有 16GB 記憶體,可以跑 Qwen3.8-27B 嗎?

A: 技術上可以,但要使用 Q3 或更低嘅量化版本,質素會明顯下降,速度亦會好慢。更實際嘅做法係揀 7B 至 14B 級別嘅模型,體驗會好過硬上 27B。16GB 記憶體係跑 27B 嘅最低門檻,唔建議。

Q: 用 Ollama 跑模型要唔要付費?

A: Ollama 本身完全免費,Qwen3.8-27B 係開源模型,亦免費商用(須遵守其授權條款)。你唯一嘅成本係硬件同電費,冇月費、冇 token 收費、冇用量上限。

Q: 本地模型同 ChatGPT 質素差幾遠?

A: 喺日常寫作、翻譯、摘要、客服回覆等任務上差距已經好細;但喺極複雜推理、最新知識同多模態(睇圖)方面,雲端旗艦模型仍然領先。建議混合使用:敏感同重複性工作本地做,難題交雲端。

Q: 模型下載好慢,有冇方法快啲?

A: 可以試吓喺唔同時段下載,或者用支援續傳嘅方式。另外確認你嘅 Ollama 係最新版本,舊版本嘅下載效率較差。如果公司有內網 mirror,亦可以將模型檔案放喺內網共享。

Q: 我唔識用終端機,有冇更簡單嘅方法?

A: 有。可以安裝 LM Studio,佢係一個純圖形介面嘅本地方案,搜尋模型、下載、載入全部用滑鼠搞掂,唔使打任何指令。功能比 Ollama 少啲彈性,但對完全新手最友善。