5分鐘搞定!|最強開源35B模型
你有沒有想過,不用連上網路、不用付月費給任何AI公司,就能在自己的電腦上擁有一個比肩GPT-4等級的AI助手?聽起來像科幻電影,但這已經真實發生了。
上週,阿里巴巴旗下的Qwen團隊釋出了Qwen3.6-35B-A3B,這個模型在HuggingFace上一週內就狂吸近200萬次下載,成為目前開源社群最火紅的模型。為什麼大家這麼瘋狂?因為它用了MoE(混合專家)架構,雖然總參數量高達35B,但每次運算只啟動3B參數——這意味著你不需要一張要價十萬台幣的頂級顯卡,只需要一台普通電腦就能順暢運行。
今天這篇教學,我就要帶你從零開始,5分鐘內在你的Windows或Mac電腦上跑起這個模型。你不用寫程式、不用懂AI原理,就跟安裝一個普通軟體一樣簡單。準備好了嗎?我們開始吧!
什麼是Qwen3.6-35B-A3B?為什麼它值得你花時間?
先花30秒搞懂這個模型為什麼這麼特別,這樣你才知道自己在裝什麼。
MoE(Mixture of Experts,混合專家) 就像一間公司裡有100位專家,但每次有任務來的時候,只叫醒最厲害的那3位來處理。Qwen3.6-35B-A3B就是這樣:它體內有35B參數(35億個神經元),但實際運算時只啟用3B參數。這帶來了幾個好處:
- 速度極快:因為每次只啟動一小部分,回應速度跟小模型一樣快
- 記憶體需求低:一般8GB RAM的電腦就能跑,16GB更順暢
- 能力不打折:35B的知識庫存還是完整的,只是聰明地選擇誰來回答
實測表現:在寫程式、翻譯、摘要、創意寫作上,它完全不輸給GPT-4o mini,甚至在某些中文任務上表現更好。而且它是完全開源、免費、可商用的。
第一步:下載並安裝Ollama(唯一需要裝的軟體)
要讓這個模型在你的電腦上運行,我們需要一個「AI跑手」——Ollama。它是一個免費開源的軟體,專門用來在本地電腦上輕鬆運行各種AI模型。
為什麼選Ollama?
- 一鍵安裝,圖形化介面
- 自動管理模型下載和記憶體
- 支援Windows、macOS、Linux
- 完全離線使用,你的資料不會傳到任何伺服器
安裝步驟:
- 打開瀏覽器,前往 ollama.com
- 點擊大大的 Download 按鈕
- 選擇你的作業系統(Windows或macOS)
- 下載完成後,雙擊安裝檔,一路按「下一步」
- 安裝完成後,Ollama會自動在背景運行
小提示:安裝完成後,你會在電腦右下角(Windows)或選單列(Mac)看到一個小羊駝圖示,代表它正在運行。
第二步:用一行指令下載模型
現在是最關鍵的一步——下載Qwen3.6-35B-A3B模型。Ollama讓這件事變得超級簡單,你只需要打開終端機(命令提示字元),輸入一行指令。
打開終端機的方法:
- Windows:按
Win + R,輸入cmd,按 Enter - Mac:按
Cmd + 空格,搜尋「終端機」
輸入以下指令(可以直接複製貼上):
ollama pull qwen3.6:35b-a3b
按下 Enter 後,你會看到類似這樣的畫面:
pulling manifest
pulling 8f2b5a9c... 100% ▕████████████████████▏ 12 GB/12 GB
pulling config... 100% ▕████████████████████▏ 1.2 KB/1.2 KB
pulling template... 100% ▕████████████████████▏ 1.5 KB/1.5 KB
pulling license... 100% ▕████████████████████▏ 7.3 KB/7.3 KB
verifying sha256 digest
success
需要多久? 這取決於你的網路速度。模型大小約12GB,一般光纖網路大約5-15分鐘。可以先去泡杯咖啡。
注意:如果你下載到一半中斷,只要重新輸入同樣指令,它會從中斷處繼續下載,不用重來。
第三步:開始使用!第一次對話
下載完成後,你已經可以在終端機中直接跟模型對話了。輸入:
ollama run qwen3.6:35b-a3b
你會看到提示變成 >>>,代表模型已經準備好回答你的問題。試試看:
>>> 用繁體中文寫一首關於AI的短詩
在電流的河流中,
我是一串無聲的思考。
從數據的海洋升起,
化作文字的浪花。
沒有心跳,卻能感受你的困惑;
沒有眼睛,卻能看見你的需要。
我是你創造的工具,
也是你鏡中的倒影。
是不是很驚人? 這首詩完全是由你的電腦本地生成的,沒有上傳到任何雲端伺服器。
離開對話:輸入 /bye 或按 Ctrl + D
第四步:安裝圖形化介面(可選,但強烈推薦)
如果你覺得在終端機打字不太直觀,可以安裝一個漂亮的圖形化介面——Open WebUI。它讓你可以像使用ChatGPT一樣,在瀏覽器中跟模型對話。
安裝方法(一樣很簡單):
- 先確認你已經安裝了 Docker Desktop(到 docker.com 下載安裝)
- 打開終端機,輸入:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
- 打開瀏覽器,輸入
http://localhost:3000 - 註冊一個帳號(資料只存在你電腦裡)
- 在設定中選擇模型為
qwen3.6:35b-a3b
現在你擁有了自己的ChatGPT! 完全免費、完全離線、完全私密。
實際應用場景:用它來做什麼?
這個模型不是玩具,它可以真正幫你提高生產力。以下是幾個我每天都在用的場景:
寫程式助手
假設你正在寫一個Python爬蟲,但卡在怎麼處理反爬機制。你只需要:
>>> 用Python寫一個爬蟲,爬取台灣證交所的每日股價,
>>> 要處理反爬機制,並輸出成CSV檔案
它會給你完整的程式碼,包含 requests、BeautifulSoup、錯誤處理和延遲機制。
翻譯與潤稿
你需要把一篇中文新聞翻譯成英文:
>>> 將以下繁體中文翻譯成流暢的英文商業信函語氣:
>>> 「本公司近期發現部分客戶資料可能外洩,我們深感抱歉,
>>> 並已立即啟動安全機制,全面檢討資訊安全流程。」
它會給出專業、得體的翻譯,連語氣都幫你調整好。
創意寫作與腦力激盪
你正在寫一個品牌故事,需要靈感:
>>> 我要為一家主打環保的台灣茶葉品牌寫品牌故事,
>>> 目標客戶是25-35歲的都市女性,給我5個不同角度的故事方向
它給出的點子往往比你想像的更具體、更有創意。
效能調校:讓你的模型跑更快
如果你的電腦記憶體比較有限(8GB或16GB),可以嘗試以下設定來提升速度:
使用量化版本
Ollama支援多種量化模式,可以大幅減少記憶體使用。在拉取模型時指定:
ollama pull qwen3.6:35b-a3b-q4_K_M
這個版本大小約6.8GB,速度更快,品質損失幾乎感覺不到。
調整上下文長度
預設的上下文長度(模型能記住的對話歷史)是4096 token。如果你需要處理更長的文件,可以增加:
ollama run qwen3.6:35b-a3b --num-ctx 8192
但要注意,上下文越長,消耗的記憶體越多。
使用GPU加速(如果有的話)
如果你有NVIDIA顯卡,Ollama會自動使用GPU加速。可以輸入以下指令確認:
ollama run qwen3.6:35b-a3b --verbose
在輸出中看到 llm_load_tensors: using GPU 就代表成功了。
結語:你值得擁有自己的AI
到目前為止,你已經學會了:
- 安裝Ollama — 只需下載一個軟體
- 下載Qwen3.6-35B-A3B — 一行指令搞定
- 開始對話 — 終端機或圖形介面任選
- 實際應用 — 寫程式、翻譯、創意寫作
- 效能調校 — 讓模型跑得更順
這個模型的出現,代表高品質AI不再是科技巨頭的專利。你不需要每個月付20美元給OpenAI,也不需要擔心你的對話被拿去訓練模型。你的電腦裡就住著一個世界級的AI助手,隨時待命。
下一步挑戰:試著用這個模型幫你完成一件你原本覺得很麻煩的工作——寫一封英文email、整理一篇長文章的摘要、或是把一段程式碼從Python改寫成JavaScript。你會發現,效率提升不是一點半點。
如果你遇到任何問題,記得FAQ區有常見解答。現在就去試試看吧!
延伸閱讀
常見問題
Q: 我的電腦只有8GB RAM,跑得動嗎?
A: 完全沒問題!Qwen3.6-35B-A3B因為MoE架構,實際運算只需約4-6GB記憶體。8GB RAM的電腦可以順暢運行,建議使用量化版本 (qwen3.6:35b-a3b-q4_K_M) 會更省記憶體。
Q: 下載到一半網路斷了,要重頭下載嗎?
A: 不用!Ollama支援斷點續傳。只要再次輸入 ollama pull qwen3.6:35b-a3b,它會從中斷的地方繼續下載,不會浪費你之前的時間。
Q: 這個模型可以商用嗎?會不會有版權問題? A: Qwen3.6-35B-A3B採用Apache 2.0授權,完全允許商用。你可以用它來開發商業產品、提供服務,甚至整合到你的公司系統中,不需要付任何授權費。
Q: 跟ChatGPT比起來,哪個比較強? A: 在中文任務上,Qwen3.6-35B-A3B在很多方面已經追上甚至超越GPT-4o mini。它的優勢是完全離線、免費、私密。ChatGPT的優勢在於多模態能力(能看圖片、影片)和更廣泛的世界知識。如果你的需求是文字處理(寫程式、翻譯、寫作),這個模型綽綽有餘。
Q: 為什麼我輸入指令後,終端機顯示「command not found」?
A: 這表示Ollama沒有正確安裝或沒有加入系統路徑。解決方法:重新安裝Ollama,安裝時選擇「加入PATH環境變數」。如果還是不行,可以在終端機中手動導航到Ollama安裝目錄(Windows通常在 C:\Users\你的名字\AppData\Local\Ollama)再執行指令。