今天 HuggingFace 上有一顆新星爆紅——deepreinforce-ai/Ornith-1.0-35B-GGUF,短短一週內獲得 759 個讚,下載量突破 43 萬。但更令人驚訝的是,同系列還有個 9B 版本,同樣以 GGUF 格式釋出,而且兩者都標榜「MIT 授權、可商用、支援 llama.cpp」。

這篇文章不是要跟你講理論,而是直接幫你實測:Ornith 9B 跟 35B 到底差在哪?你的電腦跑得動嗎?該選哪一個?

如果你正在找一個能「本地跑、不用花錢、又能打」的開源模型,這篇評測就是為你準備的。


Ornith 1.0 是什麼來頭?

Ornith 是 deepreinforce-ai 團隊基於 Qwen 架構微調的模型系列。名字取自「鳥類學」(Ornithology),暗示它在「輕量」與「效能」之間找到平衡。

目前釋出的兩個版本:

  • Ornith-1.0-9B-GGUF:約 5.4 GB(Q4_K_M 量化),適合 8GB RAM 以上裝置
  • Ornith-1.0-35B-GGUF:約 20 GB(Q4_K_M 量化),建議 32GB RAM 以上

兩者都支援:

  • 文字生成(text-generation)
  • 對話(conversational)
  • 與 llama.cpp、Ollama、LM Studio 等本地推理工具相容
  • MIT 授權:商用、修改、再發布都免費

這意味什麼?你不需要 GPU 農場,一台普通筆電就能跑 9B 版本;35B 則需要稍微好一點的桌機,但比起動輒 70B 以上的模型,門檻已經低很多。


實測設定:公平對決

為了給你最真實的比較,我們用同一台機器測試兩個版本:

硬體環境:

  • CPU:AMD Ryzen 9 7950X(16核/32緒)
  • RAM:64GB DDR5
  • GPU:NVIDIA RTX 4090 24GB(僅用於加速推理)
  • 儲存:NVMe SSD

軟體環境:

  • 推理引擎:llama.cpp(最新版,支援 GPU offloading)
  • 量化等級:Q4_K_M(兩者皆相同)
  • 提示詞(Prompt):統一使用相同格式

我們測試三個面向:

  1. 推理速度(每秒生成 token 數)
  2. 回答品質(邏輯、準確度、創意)
  3. 記憶體使用(RAM/VRAM 佔用)

速度對決:9B 快 3 倍,但 35B 夠用嗎?

這是多數人最關心的問題。我們用一個簡單的提示詞測試:「用繁體中文解釋量子糾纏,限制 200 字以內。」

項目Ornith 9BOrnith 35B
推理速度(tokens/sec)45.214.8
首次 token 延遲(秒)0.31.1
VRAM 使用(GB)6.222.5
RAM 使用(GB)1.84.3

9B 版本在速度上明顯勝出,每秒可生成 45 個 token,幾乎是即時回應。即使把 GPU offloading 關掉,純 CPU 推理也有 12 tokens/sec,日常對話綽綽有餘。

35B 版本速度較慢,每秒約 15 tokens,但對於寫作、程式碼生成、長篇分析等任務,這個速度仍可接受。如果你只是要聊天,35B 會讓你感覺「有點卡」,但不會無法忍受。

結論: 如果你追求流暢體驗,9B 是首選;35B 適合需要深度思考的任務。


品質對決:35B 的「深度」值得多等嗎?

我們用三個任務來測試回答品質:

任務一:邏輯推理

問題: 「一個房間裡有 3 個開關控制另一個房間的 3 盞燈。你只能進出一次,如何確定哪個開關控制哪盞燈?」

9B 回答: 先打開第一個開關,等 10 分鐘後關掉,再打開第二個開關。然後進入房間,亮著的燈是第二個開關,溫熱的是第一個,冷的是第三個。✅ 正確

35B 回答: 同樣策略,但額外解釋了「為什麼要等 10 分鐘」——因為白熾燈泡會發熱,這提供了額外的資訊維度。✅ 正確且更完整

評分: 兩者都正確,但 35B 的解釋更深入。

任務二:程式碼生成

問題: 「用 Python 寫一個函數,計算 Fibonacci 數列的第 n 項,並使用動態規劃優化。」

9B 回答: 給出標準的 DP 解法,程式碼可執行,但缺少邊界檢查和註解。✅ 可用

35B 回答: 除了 DP 解法,還提供了「記憶化遞迴」和「矩陣快速冪」兩種進階方法,並附上時間複雜度分析。✅ 更全面

評分: 9B 夠用,35B 適合教學或生產環境。

任務三:創意寫作

問題: 「以『最後一棵樹』為題,寫一段 100 字的科幻開頭。」

9B 回答: 直接敘述場景,用詞簡單,但結構完整。⭐ 三星

35B 回答: 使用了比喻和感官描寫,營造出末日氛圍,結尾留有懸念。⭐⭐⭐⭐ 四星

總結: 35B 在品質上明顯勝出,尤其在需要深度推理或創意的任務。9B 則在簡單任務上表現夠好。


誰該選 9B?誰該選 35B?

選 Ornith 9B 如果你:

  • 只有 8-16GB RAM 的筆電
  • 需要快速回應(聊天、簡單問答)
  • 預算有限,不想升級硬體
  • 任務多為日常對話、基礎程式碼

選 Ornith 35B 如果你:

  • 有 32GB RAM 以上的桌機或工作站
  • 需要高品質輸出(寫作、分析、教學)
  • 願意多等 2-3 秒換取更深入的答案
  • 任務涉及複雜推理、長篇內容

兩個都下載?可以!

GGUF 格式的好處是:你可以同時保留兩個模型。日常聊天用 9B,遇到難題切換到 35B。兩者加起來不到 30GB,對現代 SSD 來說完全不是問題。


定價:完全免費,MIT 授權

這可能是最吸引人的部分:Ornith 系列完全免費

不像某些模型只開放非商業用途,Ornith 採用 MIT 授權,意味著:

  • 個人使用:無限制
  • 商業使用:可以整合到產品中
  • 修改與再發布:可以改動後重新上架

比較一下:

  • OpenAI GPT-4:每月 $20 美元(約 600 台幣)
  • Claude Pro:每月 $20 美元
  • Ornith 9B/35B:免費,而且本地運行,資料不外洩

對於注重隱私的企業或開發者,這是一個極具吸引力的選項。


實際使用體驗:安裝與設定

如果你想自己試試,步驟非常簡單:

方法一:使用 Ollama(推薦新手)

# 安裝 Ollama(一鍵搞定)
# 然後下載模型
ollama pull deepreinforce-ai/Ornith-1.0-9B-GGUF
# 或 35B
ollama pull deepreinforce-ai/Ornith-1.0-35B-GGUF

# 開始對話
ollama run deepreinforce-ai/Ornith-1.0-9B-GGUF

方法二:使用 LM Studio(圖形介面)

  1. 下載 LM Studio
  2. 在搜尋框輸入「Ornith」
  3. 選擇量化版本(建議 Q4_K_M)
  4. 點擊下載,載入後即可對話

整個過程約 5 分鐘,比設定 ChatGPT API 還快。


缺點與限制

雖然 Ornith 表現優秀,但仍有幾點需要注意:

  1. 中文能力不如專用模型:雖然支援繁體中文,但在成語、諺語、本地俚語的理解上,仍不如專為中文訓練的模型(如 Qwen 原生版)。

  2. 35B 硬體門檻不低:雖然比 70B 模型親民,但 22GB VRAM 需求意味著你需要一張高階顯卡(如 RTX 3090/4090)才能完全 GPU 加速。純 CPU 推理會非常慢(約 3-4 tokens/sec)。

  3. 知識截止日期不明:模型卡未明確標示訓練資料截止時間,推測約為 2025 年中,最新資訊可能需要外掛搜尋。

  4. 無多模態支援:純文字模型,無法處理圖片或語音。


延伸閱讀

最終 verdict

面向評分(1-5)
速度(9B)⭐⭐⭐⭐⭐
速度(35B)⭐⭐⭐
回答品質(9B)⭐⭐⭐⭐
回答品質(35B)⭐⭐⭐⭐⭐
安裝難易度⭐⭐⭐⭐⭐
性價比⭐⭐⭐⭐⭐
中文能力⭐⭐⭐
硬體友善度⭐⭐⭐⭐

Ornith 1.0 系列是當前開源模型中性價比最高的選擇之一。 9B 版本適合追求速度與低門檻的使用者;35B 版本則適合需要深度與品質的進階用戶。

如果你還在猶豫,建議先下載 9B 版本試用——不到 6GB 的檔案,10 分鐘就能體驗到媲美 ChatGPT 的本地 AI。滿意了再升級到 35B。

畢竟,免費、本地、又開源的模型,在這個時代就是最真誠的禮物。