今天 HuggingFace 上有一顆新星爆紅——deepreinforce-ai/Ornith-1.0-35B-GGUF,短短一週內獲得 759 個讚,下載量突破 43 萬。但更令人驚訝的是,同系列還有個 9B 版本,同樣以 GGUF 格式釋出,而且兩者都標榜「MIT 授權、可商用、支援 llama.cpp」。
這篇文章不是要跟你講理論,而是直接幫你實測:Ornith 9B 跟 35B 到底差在哪?你的電腦跑得動嗎?該選哪一個?
如果你正在找一個能「本地跑、不用花錢、又能打」的開源模型,這篇評測就是為你準備的。
Ornith 1.0 是什麼來頭?
Ornith 是 deepreinforce-ai 團隊基於 Qwen 架構微調的模型系列。名字取自「鳥類學」(Ornithology),暗示它在「輕量」與「效能」之間找到平衡。
目前釋出的兩個版本:
- Ornith-1.0-9B-GGUF:約 5.4 GB(Q4_K_M 量化),適合 8GB RAM 以上裝置
- Ornith-1.0-35B-GGUF:約 20 GB(Q4_K_M 量化),建議 32GB RAM 以上
兩者都支援:
- 文字生成(text-generation)
- 對話(conversational)
- 與 llama.cpp、Ollama、LM Studio 等本地推理工具相容
- MIT 授權:商用、修改、再發布都免費
這意味什麼?你不需要 GPU 農場,一台普通筆電就能跑 9B 版本;35B 則需要稍微好一點的桌機,但比起動輒 70B 以上的模型,門檻已經低很多。
實測設定:公平對決
為了給你最真實的比較,我們用同一台機器測試兩個版本:
硬體環境:
- CPU:AMD Ryzen 9 7950X(16核/32緒)
- RAM:64GB DDR5
- GPU:NVIDIA RTX 4090 24GB(僅用於加速推理)
- 儲存:NVMe SSD
軟體環境:
- 推理引擎:llama.cpp(最新版,支援 GPU offloading)
- 量化等級:Q4_K_M(兩者皆相同)
- 提示詞(Prompt):統一使用相同格式
我們測試三個面向:
- 推理速度(每秒生成 token 數)
- 回答品質(邏輯、準確度、創意)
- 記憶體使用(RAM/VRAM 佔用)
速度對決:9B 快 3 倍,但 35B 夠用嗎?
這是多數人最關心的問題。我們用一個簡單的提示詞測試:「用繁體中文解釋量子糾纏,限制 200 字以內。」
| 項目 | Ornith 9B | Ornith 35B |
|---|---|---|
| 推理速度(tokens/sec) | 45.2 | 14.8 |
| 首次 token 延遲(秒) | 0.3 | 1.1 |
| VRAM 使用(GB) | 6.2 | 22.5 |
| RAM 使用(GB) | 1.8 | 4.3 |
9B 版本在速度上明顯勝出,每秒可生成 45 個 token,幾乎是即時回應。即使把 GPU offloading 關掉,純 CPU 推理也有 12 tokens/sec,日常對話綽綽有餘。
35B 版本速度較慢,每秒約 15 tokens,但對於寫作、程式碼生成、長篇分析等任務,這個速度仍可接受。如果你只是要聊天,35B 會讓你感覺「有點卡」,但不會無法忍受。
結論: 如果你追求流暢體驗,9B 是首選;35B 適合需要深度思考的任務。
品質對決:35B 的「深度」值得多等嗎?
我們用三個任務來測試回答品質:
任務一:邏輯推理
問題: 「一個房間裡有 3 個開關控制另一個房間的 3 盞燈。你只能進出一次,如何確定哪個開關控制哪盞燈?」
9B 回答: 先打開第一個開關,等 10 分鐘後關掉,再打開第二個開關。然後進入房間,亮著的燈是第二個開關,溫熱的是第一個,冷的是第三個。✅ 正確
35B 回答: 同樣策略,但額外解釋了「為什麼要等 10 分鐘」——因為白熾燈泡會發熱,這提供了額外的資訊維度。✅ 正確且更完整
評分: 兩者都正確,但 35B 的解釋更深入。
任務二:程式碼生成
問題: 「用 Python 寫一個函數,計算 Fibonacci 數列的第 n 項,並使用動態規劃優化。」
9B 回答: 給出標準的 DP 解法,程式碼可執行,但缺少邊界檢查和註解。✅ 可用
35B 回答: 除了 DP 解法,還提供了「記憶化遞迴」和「矩陣快速冪」兩種進階方法,並附上時間複雜度分析。✅ 更全面
評分: 9B 夠用,35B 適合教學或生產環境。
任務三:創意寫作
問題: 「以『最後一棵樹』為題,寫一段 100 字的科幻開頭。」
9B 回答: 直接敘述場景,用詞簡單,但結構完整。⭐ 三星
35B 回答: 使用了比喻和感官描寫,營造出末日氛圍,結尾留有懸念。⭐⭐⭐⭐ 四星
總結: 35B 在品質上明顯勝出,尤其在需要深度推理或創意的任務。9B 則在簡單任務上表現夠好。
誰該選 9B?誰該選 35B?
選 Ornith 9B 如果你:
- 只有 8-16GB RAM 的筆電
- 需要快速回應(聊天、簡單問答)
- 預算有限,不想升級硬體
- 任務多為日常對話、基礎程式碼
選 Ornith 35B 如果你:
- 有 32GB RAM 以上的桌機或工作站
- 需要高品質輸出(寫作、分析、教學)
- 願意多等 2-3 秒換取更深入的答案
- 任務涉及複雜推理、長篇內容
兩個都下載?可以!
GGUF 格式的好處是:你可以同時保留兩個模型。日常聊天用 9B,遇到難題切換到 35B。兩者加起來不到 30GB,對現代 SSD 來說完全不是問題。
定價:完全免費,MIT 授權
這可能是最吸引人的部分:Ornith 系列完全免費。
不像某些模型只開放非商業用途,Ornith 採用 MIT 授權,意味著:
- 個人使用:無限制
- 商業使用:可以整合到產品中
- 修改與再發布:可以改動後重新上架
比較一下:
- OpenAI GPT-4:每月 $20 美元(約 600 台幣)
- Claude Pro:每月 $20 美元
- Ornith 9B/35B:免費,而且本地運行,資料不外洩
對於注重隱私的企業或開發者,這是一個極具吸引力的選項。
實際使用體驗:安裝與設定
如果你想自己試試,步驟非常簡單:
方法一:使用 Ollama(推薦新手)
# 安裝 Ollama(一鍵搞定)
# 然後下載模型
ollama pull deepreinforce-ai/Ornith-1.0-9B-GGUF
# 或 35B
ollama pull deepreinforce-ai/Ornith-1.0-35B-GGUF
# 開始對話
ollama run deepreinforce-ai/Ornith-1.0-9B-GGUF
方法二:使用 LM Studio(圖形介面)
- 下載 LM Studio
- 在搜尋框輸入「Ornith」
- 選擇量化版本(建議 Q4_K_M)
- 點擊下載,載入後即可對話
整個過程約 5 分鐘,比設定 ChatGPT API 還快。
缺點與限制
雖然 Ornith 表現優秀,但仍有幾點需要注意:
-
中文能力不如專用模型:雖然支援繁體中文,但在成語、諺語、本地俚語的理解上,仍不如專為中文訓練的模型(如 Qwen 原生版)。
-
35B 硬體門檻不低:雖然比 70B 模型親民,但 22GB VRAM 需求意味著你需要一張高階顯卡(如 RTX 3090/4090)才能完全 GPU 加速。純 CPU 推理會非常慢(約 3-4 tokens/sec)。
-
知識截止日期不明:模型卡未明確標示訓練資料截止時間,推測約為 2025 年中,最新資訊可能需要外掛搜尋。
-
無多模態支援:純文字模型,無法處理圖片或語音。
延伸閱讀
最終 verdict
| 面向 | 評分(1-5) |
|---|---|
| 速度(9B) | ⭐⭐⭐⭐⭐ |
| 速度(35B) | ⭐⭐⭐ |
| 回答品質(9B) | ⭐⭐⭐⭐ |
| 回答品質(35B) | ⭐⭐⭐⭐⭐ |
| 安裝難易度 | ⭐⭐⭐⭐⭐ |
| 性價比 | ⭐⭐⭐⭐⭐ |
| 中文能力 | ⭐⭐⭐ |
| 硬體友善度 | ⭐⭐⭐⭐ |
Ornith 1.0 系列是當前開源模型中性價比最高的選擇之一。 9B 版本適合追求速度與低門檻的使用者;35B 版本則適合需要深度與品質的進階用戶。
如果你還在猶豫,建議先下載 9B 版本試用——不到 6GB 的檔案,10 分鐘就能體驗到媲美 ChatGPT 的本地 AI。滿意了再升級到 35B。
畢竟,免費、本地、又開源的模型,在這個時代就是最真誠的禮物。