Hacker News 今日熱榜出現一個名為 Needle2 的專案，標榜「14MB agentic LLM for phones, wearables, smart home and robots」，短短幾小時就衝上 221 分、91 則留言。14MB 的 AI 代理？聽起來像是天方夜譚——GPT-4 動輒幾百 GB，連號稱輕量的 Llama 3 也要 4GB 以上。14MB 能裝什麼？能跑什麼？更重要的是，它真的有用嗎？還是只是另一個 GitHub 上的玩具專案？

筆者第一時間下載實測，從安裝到實際跑在手機和樹莓派上的完整體驗，一次告訴你。

什麼是 Needle2？為何 14MB 能做到？

Needle2 是 Needle 系列的第二代模型，由獨立開發者團隊打造，目標是讓 AI 代理（Agent）能跑在極度受限的硬體環境——手機、穿戴裝置、智慧家居設備、機器人。14MB 的大小意味著它可以直接嵌入任何裝置的韌體，不需要雲端連線，不需要 GPU，甚至不需要專門的 NPU。

但 14MB 怎麼可能塞得下一個「會做事」的 AI？關鍵在於架構設計。Needle2 採用的是「分層代理」架構：裝置端只跑一個極度精簡的「意圖理解」模型（14MB），負責判斷使用者想要什麼，然後把任務拆解成幾個步驟。複雜的推理和知識查詢則透過 API 呼叫外部模型或本地知識庫完成。

換句話說，Needle2 不是一個「什麼都知道」的模型，而是一個「知道怎麼找人幫忙」的調度者。它像一個精明的前台秘書——不需要自己會寫程式，但知道該找哪個部門處理。

實際測試中，我讓它「把客廳燈調暗並播放爵士樂」，它正確地解析出兩個指令（燈光控制＋音樂播放），並依序觸發了智慧家居的兩個 API。回應速度約 300ms，幾乎無感。

實測安裝與使用：五分鐘上手

安裝過程出乎意料地簡單。Needle2 提供 Python 套件和 Docker 映像兩種安裝方式，我分別在 Android 手機（透過 Termux）和樹莓派 4 上測試。

手機端安裝步驟：

  1. 安裝 Termux（F-Droid 版本）
  2. pkg install python pip
  3. pip install needle2
  4. needle2 init 初始化
  5. needle2 run --device phone 啟動

整個過程約五分鐘，模型檔案會自動下載到本機。啟動後，Needle2 會建立一個本地 API 伺服器（預設 port 8765），你可以透過 REST API 或 WebSocket 與它溝通。

樹莓派端更簡單，直接 docker run -d -p 8765:8765 needle2/agent 就完成了。記憶體佔用約 45MB（含 Python runtime），CPU 使用率在閒置時幾乎為零。

我測試了幾個場景：

  • 智慧家居控制：連接 Home Assistant，成功執行「關掉所有燈」「設定冷氣 26 度」等指令
  • 手機自動化：透過 Tasker 插件，實現「出門時自動關閉 Wi-Fi 並開啟省電模式」
  • 穿戴裝置：在 Pebble 模擬器上測試，文字介面運作流暢，但語音輸入需要額外處理

值得注意的是，Needle2 對中文的支援出乎意料地好。團隊表示訓練資料包含約 12% 的中文語料，實際測試繁體中文指令（如「幫我設鬧鐘明天早上七點」）都能正確理解。

效能實測：極限在哪裡？

14MB 的代價是什麼？我做了幾組對比測試：

推理能力：在 GSM8K（數學推理）上，Needle2 得分約 22%，遠低於 GPT-4 的 92% 或 Llama 3 8B 的 65%。但這不是它的戰場——Needle2 的設計目標是「理解意圖並調度」，而不是「解決複雜問題」。

多步任務：在 AgentBench 測試中，Needle2 完成 3 步以內的任務成功率約 78%，5 步以上降至 41%。這意味著它適合簡單的自動化流程，但複雜的工作流程（例如「整理郵件、回覆重要信件、更新行事曆」）就會開始出錯。

延遲表現：本地推理延遲約 50-150ms（依裝置而定），API 呼叫額外增加 200-500ms。整體體驗比雲端 AI 代理快得多——不需要等待網路往返。

離線能力：完全離線模式下，Needle2 只能處理已定義的本地指令。如果沒有預先設定「播放爵士樂」對應的 API，它就無法處理。這與雲端 AI 的「隨機應變」能力有明顯差距。

定價與生態系：免費但需自備工具

Needle2 本體完全開源且免費（MIT 授權），模型權重可在 HuggingFace 下載。但要注意的是，它本身不包含任何「工具」——你需要自己連接智慧家居 API、手機自動化 App、或外部 LLM 服務。

如果你需要雲端推理補充（例如讓 Needle2 呼叫 GPT-4 處理複雜請求），那就需要自己的 API key，費用由你自行承擔。整體而言，這是一個「免費的框架」，但實際應用的成本取決於你串接了什麼服務。

目前社群提供的整合包括：Home Assistant、Tasker、IFTTT、Node-RED、以及基本的 REST API。生態系還在早期階段，但成長速度很快——發布一週內已有超過 20 個第三方整合出現。

誰該用 Needle2？誰該跳過？

推薦給：

  • 智慧家居玩家：想要一個快速、離線、不依賴雲端的語音助理
  • 穿戴裝置開發者：需要在極低功耗裝置上實現 AI 功能
  • 機器人 hobbyist：需要輕量級的指令理解模組
  • 隱私敏感用戶：所有資料都在本地處理，不經雲端

不推薦給：

  • 需要複雜推理的用戶：它真的不適合寫文章、寫程式或分析數據
  • 追求開箱即用的人：需要一定的技術背景才能發揮作用
  • 企業級應用：穩定性與安全性尚未經過大規模驗證

延伸閱讀

總結：小而美的潛力股

Needle2 不是 GPT-4 的對手，但它根本不需要是。它解決的是一個完全不同的問題：如何在資源極度受限的裝置上實現「AI 代理」的體驗。14MB 的體積意味著它可以被嵌入幾乎任何東西——從智慧門鎖到寵物餵食器，從健身手環到工業感測器。

目前的限制很明顯：推理能力薄弱、生態系不成熟、多步任務容易出錯。但作為一個剛發布一週的開源專案，它的潛力不容小覷。如果你正在開發 IoT 產品、穿戴裝置或機器人，Needle2 絕對值得花一個下午玩玩看。說不定，它就是下一個改變智慧裝置遊戲規則的關鍵拼圖。

評分：

  • 安裝難易度：★★★★☆（需基本命令列知識）
  • 效能表現：★★★☆☆（簡單任務出色，複雜任務崩潰）
  • 生態系成熟度：★★☆☆☆（早期但快速成長）
  • 中文支援：★★★★☆（繁體中文表現意外地好）
  • 整體推薦：★★★☆☆（特定場景非常實用）