Mac本地AI神器?|Nativ實測太狂

昨天Hacker News上,一個叫Nativ的工具突然衝上216分,留言區炸鍋了。「終於有人做出我想要的東西了!」「Mac用戶等了兩年的神器。」這工具到底是什麼?為什麼大家這麼激動?

簡單說,Nativ是一個專為Mac設計的本地AI模型管理器。它讓你在自己的電腦上,直接下載、運行、切換各種開源AI模型——Llama 3、Mistral、Qwen、Phi-3……全部離線運行,不經雲端,不上傳資料。

對HK/TW的讀者來說,這意味著什麼?隱私、速度、零成本。不用怕資料送到大陸或美國伺服器,不用排隊等API回應,不用每月付幾百港幣的訂閱費。而且,它跑在你的M1/M2/M3晶片上,效能驚人。

本篇文章,我會帶你完整實測Nativ:從安裝到運行、從模型選擇到效能比較,最後給出誰該用、誰不該用的真實建議。


Nativ是什麼?為什麼它突然爆紅?

先說背景。過去一年,開源AI模型大爆發:Meta的Llama 3、Mistral AI的Mistral、阿里巴巴的Qwen、微軟的Phi-3……這些模型的效能已經逼近GPT-3.5甚至GPT-4,而且完全免費、開源。

但有一個痛點:普通人很難在自己的電腦上跑這些模型

你要知道怎麼用終端機、怎麼裝Python、怎麼處理CUDA或Metal Performance Shaders。就算你懂這些,下載模型、設定環境、調整參數,動輒花掉一兩個小時。很多人試了一次就放棄了。

Nativ就是要解決這個問題。

它把整個流程包裝成一個漂亮的Mac原生App。你打開它,瀏覽模型庫,點一下下載,再點一下運行。就這麼簡單。它會自動偵測你的Mac晶片(M系列最好),自動優化記憶體使用,自動處理所有技術細節。

Hacker News上有人說:「這就像Homebrew之於軟體套件,Nativ之於AI模型。」也有人說:「這是我見過最『Apple風格』的AI工具——簡單、優雅、順暢。」

爆紅的原因很簡單:它降低了門檻。以前要花一小時設定的東西,現在30秒搞定。而且它完全離線,隱私無虞。在中國AI監管越來越嚴、歐盟AI法案陸續生效的時代,本地運行的價值只會越來越高。


實測:安裝到運行,30秒搞定

我用自己的MacBook Air M2(16GB記憶體)來測試。以下是完整步驟:

1. 下載與安裝

到Nativ官網下載dmg檔。檔案約80MB,下載後拖進Applications資料夾。第一次打開時,系統會提示「是否允許從互聯網下載的App」,按允許即可。整個過程不到1分鐘。

2. 瀏覽模型庫

打開Nativ後,你會看到一個乾淨的畫面。左側是模型列表,按類別分類:通用對話、程式碼生成、數學推理、角色扮演等。每個模型旁邊顯示大小、參數數量、下載次數。

我選了三個模型測試:

  • Llama 3.1 8B(8B參數,約4.7GB)
  • Mistral 7B v0.3(7B參數,約4.1GB)
  • Qwen 2.5 7B(7B參數,約4.3GB)

3. 下載模型

點選模型,按「Download」。進度條顯示下載速度和剩餘時間。我用100Mbps的WiFi,每個模型約2-3分鐘下載完成。下載完成後,模型會顯示「Ready」狀態。

4. 運行模型

按「Run」,App會自動載入模型。第一次載入較慢(約5-10秒),之後切換模型只需1-2秒。載入完成後,下方出現對話框,直接打字即可。

5. 對話測試

我問了三個問題:

  • 「請用繁體中文寫一篇關於香港茶餐廳文化的短文」
  • 「用Python寫一個爬蟲,抓取台灣氣象局的天氣資料」
  • 「解釋量子糾纏的物理意義」

結果:

  • Llama 3.1 8B:繁體中文流暢,茶餐廳文章有板有眼。Python程式碼正確,但註解用簡體中文。
  • Mistral 7B:繁體中文稍弱,部分詞彙不準確。程式碼簡潔,但缺少錯誤處理。
  • Qwen 2.5 7B:繁體中文最強,接近母語水準。程式碼完整且附帶詳細註解。

整體感受:生成速度極快,幾乎是即時回應。不像雲端AI有延遲感。而且完全離線,不用擔心網路斷線或資料外洩。


效能對比:記憶體與速度

我用Activity Monitor監控記憶體使用量。以下是測試數據:

模型參數量下載大小運行記憶體回應速度
Llama 3.1 8B8B4.7GB6.2GB即時
Mistral 7B v0.37B4.1GB5.1GB即時
Qwen 2.5 7B7B4.3GB5.4GB即時

記憶體使用量:運行單一模型約5-6GB。如果你的Mac有8GB記憶體,可能略顯吃力,但可正常運行。16GB以上則非常順暢。

回應速度:三個模型都幾乎即時回應。與ChatGPT網頁版相比,Nativ的本機運行速度更快,因為省去了網路傳輸時間。

電池消耗:運行30分鐘,電池從80%掉到72%。不算太耗電,但如果你用電池工作,建議調低模型大小。

溫度:M2晶片溫度約55-60°C,風扇沒轉(MacBook Air無風扇)。M1 Pro/Max用戶應該更輕鬆。


優勢與限制

優勢

  1. 完全離線:資料不離開你的電腦。對企業、醫療、法律等隱私敏感行業極度重要。

  2. 零成本:不用每個月付20美元給ChatGPT Plus。模型免費、App免費(目前)。

  3. 速度極快:沒有網路延遲,回應幾乎即時。對需要頻繁互動的工作流程幫助很大。

  4. 簡單易用:Apple風格的UI設計,技術小白也能上手。不用懂Python、不用懂終端機。

  5. 模型切換流暢:可以在不同模型間快速切換,比較結果。對評測模型的人很方便。

  6. M系列優化:充分利用Apple Silicon的統一記憶體和神經網路引擎,效能優於同級Windows筆電。

限制

  1. 僅限Mac:Windows和Linux用戶無法使用。開發者表示正在開發Windows版,但尚無時間表。

  2. 模型大小有限:目前支援最大約13B參數的模型(如Llama 3.1 8B、Mistral 7B)。更大的模型(如Llama 3 70B、Mixtral 8x22B)需要更多記憶體,MacBook跑不動。

  3. 功能尚在早期:目前只支援純文字對話。沒有圖像生成、沒有語音、沒有RAG(檢索增強生成)。開發者說這些功能在路線圖上。

  4. 繁體中文支援參差不齊:不同模型的繁體中文能力差異很大。Qwen系列較好,Llama和Mistral則需要提示詞優化。

  5. 沒有API:不能整合到其他工具或自動化流程。開發者說API正在開發中。


定價與方案

目前Nativ是完全免費的。沒有付費方案、沒有訂閱制、沒有功能限制。

但開發者在Hacker News上表示,未來可能會推出「Nativ Pro」付費方案,包含:

  • 雲端模型同步
  • 進階模型管理功能
  • 優先技術支援

不過他也強調:「核心功能永遠免費。我們相信本地AI應該是每個人的基本權利。」

目前沒有定價資訊。如果你擔心未來收費,現在下載就是最佳時機。


誰該用Nativ?

推薦給:

  • Mac用戶,特別是M1/M2/M3晶片用戶
  • 隱私敏感人士:記者、律師、醫生、研究員
  • 預算有限的開發者:不想每月付ChatGPT Plus費用
  • 需要離線AI的人:常搭飛機、網路不穩、或工作在安全環境
  • AI模型評測者:想比較不同開源模型的表現

不推薦給:

  • Windows/Linux用戶:等開發者推出對應版本
  • 需要GPT-4等級能力的人:目前本地模型還無法完全取代GPT-4
  • 需要多模態功能的人:Nativ目前只支援文字
  • 8GB記憶體的Mac用戶:勉強可用,但體驗會打折

延伸閱讀

總結:Nativ值得下載嗎?

答案是:絕對值得。

Nativ解決了一個真實的痛點——讓Mac用戶輕鬆運行本地AI模型。它把複雜的技術流程包裝成優雅的用戶體驗,就像Apple最擅長的那樣。

對於HK/TW用戶來說,它的價值更高。在資料隱私日益受到關注的時代,能讓AI完全離線運行,不用擔心資料送去哪裡,這本身就是巨大的優勢。

當然,它不是萬能的。它無法取代GPT-4,無法生成圖像,無法處理語音。但作為一個日常使用的AI助手,它已經足夠強大——而且完全免費、完全離線。

我的建議:現在就去下載。 就算你只是好奇,也值得花5分鐘試試。你可能會發現,原來你的Mac比你想像中更強大。


你試過Nativ了嗎?歡迎在留言區分享你的使用經驗,或告訴我們你最想跑哪個模型!