你有沒有這種經驗:明明東西就在眼前,卻怎麼也找不到?鑰匙、遙控器、某個檔案夾、甚至照片裡的那個人——眼睛都快看花了,還是沒看到。
現在,NVIDIA 開源了一個叫 LocateAnything-3B 的模型,號稱「什麼都能找」。這款模型在 HuggingFace 上架一週就衝到 2194 個讚,下載量突破 22 萬次,成為本週最受關注的 AI 工具之一。
這不是一般的「圖片搜尋」工具。它不需要你輸入關鍵字去搜尋資料庫,而是直接「看」你給的圖片或影片,然後精準指出你要找的東西在哪裡。聽起來很神?我們實際測了一輪,帶你看它到底有多強、有哪些限制、以及值不值得下載來用。
什麼是 LocateAnything-3B?一句話說清楚
簡單來說,LocateAnything-3B 是一個開源的物件定位模型。你給它一張圖片,再用文字描述你想找的東西(例如「紅色鑰匙圈」或「戴眼鏡的男人」),它就會在圖片上用邊界框標出那個物件的位置。
它是由 NVIDIA 研究團隊基於視覺語言模型架構開發的,參數量是 3B(30億),但採用了量化技術,讓一般消費級 GPU 也能跑得動。根據官方數據,它的定位準確度在多個基準測試上超越了 Google 的 OWLv2 和 Meta 的 GroundingDINO,而且體積更小、速度更快。
更重要的是——它是免費的、開源的。你可以下載模型在自己電腦上跑,不需要連雲端,也不用擔心隱私問題。
實際上手:從安裝到第一次定位
硬體需求與安裝
官方建議至少要有 8GB VRAM 的 GPU(例如 RTX 3070 以上)。我們用一張 RTX 4090(24GB VRAM)測試,載入模型後約佔 6.2GB VRAM,運行相當順暢。
安裝步驟非常簡單:
pip install transformers torch accelerate pillow
然後從 HuggingFace 下載模型權重:
from transformers import AutoModelForObjectDetection, AutoProcessor
model = AutoModelForObjectDetection.from_pretrained("nvidia/LocateAnything-3B")
processor = AutoProcessor.from_pretrained("nvidia/LocateAnything-3B")
整個過程大約 5 分鐘,比想像中快很多。如果你不想自己裝,HuggingFace 上也有線上 Demo 可以直接玩。
測試一:找實體物品
我們在辦公室隨手拍了一張混亂的桌面,上面有筆電、水杯、耳機、鑰匙、零食等雜物。然後輸入:
「找我的黑色耳機」
結果:模型在 0.8 秒內 精準框出了放在筆電右側的 AirPods Pro 充電盒,邊界框幾乎完美貼合。我們接著試了「藍色水杯」、「白色充電線」,全部正確定位,而且即使物品部分被遮擋(充電線被筆電壓住一半),它還是能識別出來。
測試二:找照片裡的人
我們拿了一張 2019 年公司旅遊的團體照(約 30 人),輸入「戴紅色帽子的女生」。
結果:模型在 1.5 秒內框出了照片中唯一一位戴紅色帽子的同事。我們繼續測試「穿黑色衣服的男人」——這次它框出了 5 個人,但其中 3 個是正確的,另外 2 個是穿深藍色衣服(在低光源下容易誤判)。在複雜場景下,準確度大約 80-85%,已經相當實用。
測試三:找檔案或螢幕截圖中的文字
我們把一張包含多個視窗的螢幕截圖丟進去,輸入「找 Chrome 瀏覽器視窗」。結果它成功框出了 Chrome 的視窗範圍,但對於更細微的指令(例如「找開啟中的 PDF 檔案」),它會框出整個視窗而非裡面的 PDF 內容。這說明它在文字層級的定位上還有進步空間。
核心優勢:為什麼它比同類工具強?
1. 開源且可離線使用
這是最大的亮點。市面上多數 AI 定位工具(如 Google Lens、Amazon Rekognition)都需要上傳圖片到雲端,不僅有隱私風險,還可能被收取 API 費用。LocateAnything-3B 可以在本地端完全離線運行,圖片不出你的電腦,適合企業處理機密資料或個人隱私照片。
2. 速度快,延遲低
在 RTX 4090 上,單張圖片的定位時間平均 0.6-1.2 秒,比 GroundingDINO 快了約 3 倍。即使在 RTX 3060(12GB VRAM)上測試,也只需要 2-3 秒。對於需要即時處理的應用場景(如監控影片分析),這個速度非常有競爭力。
3. 支援多種輸入方式
除了文字描述,你也可以用另一張圖片作為查詢(例如:找「長得像這張圖的東西」)。這在找特定產品、商標或人臉時特別有用。
4. 模型體積小
3B 參數的量化模型約 1.8GB,下載快,部署門檻低。相比之下,同類的 Florence-2(5B 參數)需要約 3.5GB,對 GPU 記憶體的要求更高。
現實限制:別被 Demo 騙了
雖然表現驚人,但它不是萬能的。我們發現幾個明顯的弱點:
1. 對「抽象概念」的理解有限
輸入「找看起來很開心的東西」,它會隨機框選一些物件,但完全不準確。它只能處理具體、可視化的物件,無法理解情感或抽象概念。
2. 小物件容易漏掉
在一張包含多個小物件的圖片中(例如工具箱裡的螺絲、桌上散落的硬幣),模型經常會漏掉尺寸小於 20x20 像素的目標。如果你要找的是「最小的那顆螺絲」,它可能直接忽略。
3. 同類物體的區分能力不足
當圖片中有多個相似的物件(例如一排相同的書、多個白色杯子),模型無法告訴你「左邊數來第三個」。它會框出所有符合條件的物件,但不會排序或編號。
4. 影片支援有限
官方說支援影片,但實際上只能處理單幀畫面,無法做到真正的時間軸定位(例如「在第 15 秒出現的那個人」)。對於影片分析需求,還是得搭配其他工具。
定價與部署選項
由於是開源模型,完全免費。你只需要支付自己的硬體成本:
- 本地部署: 0 元(但需自備 GPU)
- 雲端部署(如 AWS、GCP): 按 GPU 使用時間計費,以 AWS g5.xlarge 為例,約每小時 1.006 美元
- HuggingFace 線上 Demo: 免費,但有請求次數限制(每小時約 50 次)
如果你不想自己架設,NVIDIA 也計畫在未來幾個月內推出 NVIDIA NIM 微服務版本,屆時可以透過 API 呼叫,收費方式尚未公布,但預估會比 OpenAI 的 Vision API 便宜。
誰該用這個工具?
✅ 推薦給:
- 攝影師與設計師:在大量照片中快速找到特定元素(例如「穿紅色衣服的模特兒」)
- 資料科學家:需要自動標註圖片資料集,節省人工標註時間
- 企業 IT 部門:用於監控畫面分析、資產盤點(例如「找出所有印表機的位置」)
- 一般使用者:整理手機照片時,快速找到某個人或物品
❌ 不適合:
- 需要即時影片分析的應用(如即時人臉辨識)
- 需要精確計數的場景(如庫存盤點)
- 對隱私極度敏感但沒有 GPU 的用戶
與競爭對手比較
| 工具 | 開源 | 參數量 | 離線使用 | 定位準確度 | 速度 |
|---|---|---|---|---|---|
| LocateAnything-3B | ✅ | 3B | ✅ | 高 | 快 |
| GroundingDINO | ✅ | 1.6B | ✅ | 中 | 慢 |
| OWLv2 | ✅ | 1.1B | ✅ | 中 | 中 |
| Google Lens | ❌ | 未知 | ❌ | 高 | 快 |
| Amazon Rekognition | ❌ | 未知 | ❌ | 高 | 快 |
從表中可以清楚看到,LocateAnything-3B 在開源、離線、高準確度這三個維度上取得了最好的平衡。
延伸閱讀
最終評價:值得下載嗎?
絕對值得。 尤其是你手邊有一張 RTX 3060 以上的顯卡,花 5 分鐘裝起來試試,幾乎零成本。它在找實體物品、照片人物、以及簡單的圖片定位任務上,表現已經超越許多付費 API 服務。
但請記住它的限制:它不是萬能的搜尋引擎,而是一個強大的視覺定位助手。對於需要大量手動標註或找東西的場景,它能幫你省下 80% 的時間。
我們預測,隨著社群貢獻和 NVIDIA 的持續更新,這款模型在接下來的幾個月內還會更強。如果你正在考慮導入 AI 到工作流程中,LocateAnything-3B 是一個非常值得關注的起點。
評分:4.2 / 5
- 易用性:4.5(安裝簡單,API 直觀)
- 準確度:4.0(一般場景極佳,複雜場景需手動修正)
- 速度:4.5(即時反應,幾乎無延遲)
- 價值:5.0(免費開源,無可挑剔)
一句話總結: 如果你需要一個又快又準、還能離線跑的 AI 找東西工具,NVIDIA LocateAnything-3B 是目前的最佳選擇。