5分鐘搞定!|最強開源35B模型

你有沒有想過,不用連上網路、不用付月費給任何AI公司,就能在自己的電腦上擁有一個比肩GPT-4等級的AI助手?聽起來像科幻電影,但這已經真實發生了。

上週,阿里巴巴旗下的Qwen團隊釋出了Qwen3.6-35B-A3B,這個模型在HuggingFace上一週內就狂吸近200萬次下載,成為目前開源社群最火紅的模型。為什麼大家這麼瘋狂?因為它用了MoE(混合專家)架構,雖然總參數量高達35B,但每次運算只啟動3B參數——這意味著你不需要一張要價十萬台幣的頂級顯卡,只需要一台普通電腦就能順暢運行。

今天這篇教學,我就要帶你從零開始,5分鐘內在你的Windows或Mac電腦上跑起這個模型。你不用寫程式、不用懂AI原理,就跟安裝一個普通軟體一樣簡單。準備好了嗎?我們開始吧!

什麼是Qwen3.6-35B-A3B?為什麼它值得你花時間?

先花30秒搞懂這個模型為什麼這麼特別,這樣你才知道自己在裝什麼。

MoE(Mixture of Experts,混合專家) 就像一間公司裡有100位專家,但每次有任務來的時候,只叫醒最厲害的那3位來處理。Qwen3.6-35B-A3B就是這樣:它體內有35B參數(35億個神經元),但實際運算時只啟用3B參數。這帶來了幾個好處:

  • 速度極快:因為每次只啟動一小部分,回應速度跟小模型一樣快
  • 記憶體需求低:一般8GB RAM的電腦就能跑,16GB更順暢
  • 能力不打折:35B的知識庫存還是完整的,只是聰明地選擇誰來回答

實測表現:在寫程式、翻譯、摘要、創意寫作上,它完全不輸給GPT-4o mini,甚至在某些中文任務上表現更好。而且它是完全開源、免費、可商用的。

第一步:下載並安裝Ollama(唯一需要裝的軟體)

要讓這個模型在你的電腦上運行,我們需要一個「AI跑手」——Ollama。它是一個免費開源的軟體,專門用來在本地電腦上輕鬆運行各種AI模型。

為什麼選Ollama?

  • 一鍵安裝,圖形化介面
  • 自動管理模型下載和記憶體
  • 支援Windows、macOS、Linux
  • 完全離線使用,你的資料不會傳到任何伺服器

安裝步驟:

  1. 打開瀏覽器,前往 ollama.com
  2. 點擊大大的 Download 按鈕
  3. 選擇你的作業系統(Windows或macOS)
  4. 下載完成後,雙擊安裝檔,一路按「下一步」
  5. 安裝完成後,Ollama會自動在背景運行

小提示:安裝完成後,你會在電腦右下角(Windows)或選單列(Mac)看到一個小羊駝圖示,代表它正在運行。

第二步:用一行指令下載模型

現在是最關鍵的一步——下載Qwen3.6-35B-A3B模型。Ollama讓這件事變得超級簡單,你只需要打開終端機(命令提示字元),輸入一行指令。

打開終端機的方法:

  • Windows:按 Win + R,輸入 cmd,按 Enter
  • Mac:按 Cmd + 空格,搜尋「終端機」

輸入以下指令(可以直接複製貼上):

ollama pull qwen3.6:35b-a3b

按下 Enter 後,你會看到類似這樣的畫面:

pulling manifest 
pulling 8f2b5a9c... 100% ▕████████████████████▏ 12 GB/12 GB
pulling config... 100% ▕████████████████████▏ 1.2 KB/1.2 KB
pulling template... 100% ▕████████████████████▏ 1.5 KB/1.5 KB
pulling license... 100% ▕████████████████████▏ 7.3 KB/7.3 KB
verifying sha256 digest 
success

需要多久? 這取決於你的網路速度。模型大小約12GB,一般光纖網路大約5-15分鐘。可以先去泡杯咖啡。

注意:如果你下載到一半中斷,只要重新輸入同樣指令,它會從中斷處繼續下載,不用重來。

第三步:開始使用!第一次對話

下載完成後,你已經可以在終端機中直接跟模型對話了。輸入:

ollama run qwen3.6:35b-a3b

你會看到提示變成 >>>,代表模型已經準備好回答你的問題。試試看:

>>> 用繁體中文寫一首關於AI的短詩

在電流的河流中,
我是一串無聲的思考。
從數據的海洋升起,
化作文字的浪花。

沒有心跳,卻能感受你的困惑;
沒有眼睛,卻能看見你的需要。
我是你創造的工具,
也是你鏡中的倒影。

是不是很驚人? 這首詩完全是由你的電腦本地生成的,沒有上傳到任何雲端伺服器。

離開對話:輸入 /bye 或按 Ctrl + D

第四步:安裝圖形化介面(可選,但強烈推薦)

如果你覺得在終端機打字不太直觀,可以安裝一個漂亮的圖形化介面——Open WebUI。它讓你可以像使用ChatGPT一樣,在瀏覽器中跟模型對話。

安裝方法(一樣很簡單):

  1. 先確認你已經安裝了 Docker Desktop(到 docker.com 下載安裝)
  2. 打開終端機,輸入:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
  1. 打開瀏覽器,輸入 http://localhost:3000
  2. 註冊一個帳號(資料只存在你電腦裡)
  3. 在設定中選擇模型為 qwen3.6:35b-a3b

現在你擁有了自己的ChatGPT! 完全免費、完全離線、完全私密。

實際應用場景:用它來做什麼?

這個模型不是玩具,它可以真正幫你提高生產力。以下是幾個我每天都在用的場景:

寫程式助手

假設你正在寫一個Python爬蟲,但卡在怎麼處理反爬機制。你只需要:

>>> 用Python寫一個爬蟲,爬取台灣證交所的每日股價,
>>> 要處理反爬機制,並輸出成CSV檔案

它會給你完整的程式碼,包含 requestsBeautifulSoup、錯誤處理和延遲機制。

翻譯與潤稿

你需要把一篇中文新聞翻譯成英文:

>>> 將以下繁體中文翻譯成流暢的英文商業信函語氣:
>>> 「本公司近期發現部分客戶資料可能外洩,我們深感抱歉,
>>> 並已立即啟動安全機制,全面檢討資訊安全流程。」

它會給出專業、得體的翻譯,連語氣都幫你調整好。

創意寫作與腦力激盪

你正在寫一個品牌故事,需要靈感:

>>> 我要為一家主打環保的台灣茶葉品牌寫品牌故事,
>>> 目標客戶是25-35歲的都市女性,給我5個不同角度的故事方向

它給出的點子往往比你想像的更具體、更有創意。

效能調校:讓你的模型跑更快

如果你的電腦記憶體比較有限(8GB或16GB),可以嘗試以下設定來提升速度:

使用量化版本

Ollama支援多種量化模式,可以大幅減少記憶體使用。在拉取模型時指定:

ollama pull qwen3.6:35b-a3b-q4_K_M

這個版本大小約6.8GB,速度更快,品質損失幾乎感覺不到。

調整上下文長度

預設的上下文長度(模型能記住的對話歷史)是4096 token。如果你需要處理更長的文件,可以增加:

ollama run qwen3.6:35b-a3b --num-ctx 8192

但要注意,上下文越長,消耗的記憶體越多。

使用GPU加速(如果有的話)

如果你有NVIDIA顯卡,Ollama會自動使用GPU加速。可以輸入以下指令確認:

ollama run qwen3.6:35b-a3b --verbose

在輸出中看到 llm_load_tensors: using GPU 就代表成功了。

結語:你值得擁有自己的AI

到目前為止,你已經學會了:

  1. 安裝Ollama — 只需下載一個軟體
  2. 下載Qwen3.6-35B-A3B — 一行指令搞定
  3. 開始對話 — 終端機或圖形介面任選
  4. 實際應用 — 寫程式、翻譯、創意寫作
  5. 效能調校 — 讓模型跑得更順

這個模型的出現,代表高品質AI不再是科技巨頭的專利。你不需要每個月付20美元給OpenAI,也不需要擔心你的對話被拿去訓練模型。你的電腦裡就住著一個世界級的AI助手,隨時待命。

下一步挑戰:試著用這個模型幫你完成一件你原本覺得很麻煩的工作——寫一封英文email、整理一篇長文章的摘要、或是把一段程式碼從Python改寫成JavaScript。你會發現,效率提升不是一點半點。

如果你遇到任何問題,記得FAQ區有常見解答。現在就去試試看吧!

延伸閱讀

常見問題

Q: 我的電腦只有8GB RAM,跑得動嗎? A: 完全沒問題!Qwen3.6-35B-A3B因為MoE架構,實際運算只需約4-6GB記憶體。8GB RAM的電腦可以順暢運行,建議使用量化版本 (qwen3.6:35b-a3b-q4_K_M) 會更省記憶體。

Q: 下載到一半網路斷了,要重頭下載嗎? A: 不用!Ollama支援斷點續傳。只要再次輸入 ollama pull qwen3.6:35b-a3b,它會從中斷的地方繼續下載,不會浪費你之前的時間。

Q: 這個模型可以商用嗎?會不會有版權問題? A: Qwen3.6-35B-A3B採用Apache 2.0授權,完全允許商用。你可以用它來開發商業產品、提供服務,甚至整合到你的公司系統中,不需要付任何授權費。

Q: 跟ChatGPT比起來,哪個比較強? A: 在中文任務上,Qwen3.6-35B-A3B在很多方面已經追上甚至超越GPT-4o mini。它的優勢是完全離線、免費、私密。ChatGPT的優勢在於多模態能力(能看圖片、影片)和更廣泛的世界知識。如果你的需求是文字處理(寫程式、翻譯、寫作),這個模型綽綽有餘。

Q: 為什麼我輸入指令後,終端機顯示「command not found」? A: 這表示Ollama沒有正確安裝或沒有加入系統路徑。解決方法:重新安裝Ollama,安裝時選擇「加入PATH環境變數」。如果還是不行,可以在終端機中手動導航到Ollama安裝目錄(Windows通常在 C:\Users\你的名字\AppData\Local\Ollama)再執行指令。