你有沒有這種經驗?電腦裡存了上千份PDF、Word、TXT檔案,但每次要找某個關鍵資訊,就得像大海撈針一樣,一個一個打開來看。尤其是那些合約、論文、會議記錄,明明記得裡面有寫到「賠償條款」或「2025年Q3數據」,但就是找不到在哪個檔案裡。

更糟的是,如果你把這些檔案丟給ChatGPT或Gemini,等於是把公司機密或個人隱私直接送上雲端。萬一資料外洩,後果不堪設想。

今天我要教你一個超實用的技巧:在你自己電腦上,建立一個完全離線的AI搜尋引擎。你不用上傳任何東西到網路,所有資料都留在你的硬碟裡。只要打一句話,AI就能幫你從幾千個檔案中,一秒找出你要的內容。而且,完全免費。


為什麼你需要本地AI搜尋?

先說個真實案例。我朋友阿傑是一家中小企業的法務專員,公司有超過5000份歷史合約,分散在20個資料夾裡。以前他要找某條款,得花至少半天時間手動翻檔案。後來他用了我們今天要教的方法,搜尋時間從半天縮短到30秒。老闆嚇到以為他偷偷請了助理。

這個技術的核心,叫做「語意搜尋」。傳統的檔案搜尋(比如Windows的搜尋功能)只能比對「關鍵字」——你打「賠償」,它只會找到檔案名稱或內容裡有「賠償」兩個字的檔案。但如果你打的是「違約罰款」,它就找不到,因為字不一樣。

AI語意搜尋不一樣。它理解「賠償」和「違約罰款」是同一類概念。所以你用自然語言問:「請找出所有提到違約金計算方式的合約」,AI就會把相關檔案列出來,還會告訴你重點在哪一頁。

更棒的是,這些全部在你電腦本地執行,網路斷線也能用。你的資料永遠不會離開你的硬碟。


第一步:安裝本地AI引擎

我們要用的工具是開源的,叫做Ollama。它可以在你的電腦上跑各種AI模型,而且設定非常簡單。

先去官網下載Ollama(支援Windows、Mac、Linux)。安裝完成後,打開終端機(Windows叫命令提示字元或PowerShell),輸入這行指令:

ollama pull nomic-embed-text

這個模型很小(約137MB),專門用來把文字轉成「向量」,也就是讓電腦能理解語意。下載完成後,它就準備好了。

接著,我們需要一個能搜尋的介面。推薦使用AnythingLLM,這是一個免費的桌面應用,可以跟Ollama串接,讓你上傳檔案、問問題。

下載AnythingLLM後,打開它,你會看到設定畫面。在「LLM Provider」選擇「Ollama」,模型選「nomic-embed-text」。然後在「Embedding Provider」也選「Ollama」,同樣選「nomic-embed-text」。這樣就完成連線了。


第二步:建立你的知識庫

現在你可以開始上傳檔案了。AnythingLLM支援PDF、Word、TXT、Markdown、CSV等多種格式。你可以拖曳整個資料夾進去,它會自動讀取所有檔案。

上傳完成後,點擊「Save and Embed」。這時候,AI會把每個檔案裡的內容,轉換成「向量」,並建立一個索引。這個過程通常只需要幾秒到幾分鐘,取決於你的檔案數量。

舉個例子,如果你上傳了100份PDF,每份20頁,整個嵌入過程大約需要1-2分鐘(視電腦效能而定)。完成後,你的知識庫就建好了。


第三步:開始用AI搜尋

知識庫建立後,你可以在聊天框裡輸入問題。比如你之前上傳了一堆旅遊手冊,你可以問:「推薦東京適合帶小孩去的景點?」AI會從所有手冊中,找出相關段落,並顯示來源檔案名稱和頁碼。

更進階的用法是:結合多個檔案。比如你同時上傳了合約、會議記錄和財務報表,你可以問:「2025年Q3的營收目標是多少?跟合約裡的條款有沒有衝突?」AI會同時比對這三類檔案,給你統整的答案。


第四步:進階技巧——自動化搜尋

如果你覺得每次都要打開AnythingLLM很麻煩,可以設定一個快捷鍵。在Windows上,用AutoHotkey寫一個簡單腳本,按Ctrl+Shift+F就自動打開搜尋視窗。Mac用戶可以用Alfred或Raycast做到類似效果。

另一個技巧是:定期更新知識庫。如果你每天都會新增檔案,可以設定排程任務,每天凌晨自動重新嵌入新檔案。這樣你的搜尋引擎永遠是最新的。


延伸閱讀

常見問題

Q: 我的電腦跑得動嗎?需要很強的硬體嗎? A: 完全不需要。我們用的nomic-embed-text模型非常輕量,4GB RAM的舊電腦也能順暢執行。如果你只是想搜尋檔案,不需要GPU。

Q: 支援繁體中文嗎?搜尋準確度如何? A: 支援。nomic-embed-text對繁體中文的語意理解相當好,準確度約在85-90%。如果你需要更高精度,可以改用BGE-M3模型(需要下載,但也很輕量)。

Q: 檔案會上傳到雲端嗎?安全嗎? A: 完全不會。Ollama和AnythingLLM都是本地執行,你的檔案永遠留在電腦裡。斷網也能用,隱私零風險。

Q: 可以搜尋圖片或掃描檔裡的字嗎? A: 預設不行,因為它只讀取文字內容。但如果你先用OCR工具(如Tesseract)把圖片轉成文字檔,再上傳,就可以搜尋了。

Q: 免費版有什麼限制嗎? A: AnythingLLM免費版支援無限數量的檔案,但每個工作區最多1000個檔案。如果你有超過5000個檔案,可以開多個工作區分類管理。