你是不是也遇過這種情況:錄了一段很好的 Podcast、訪談或線上課程,播出來卻發現背景有冷氣聲、風扇聲、鍵盤敲擊聲,甚至隔壁房間的電視聲?重錄一次成本太高,丟掉又可惜。

這篇教學要教你用一個剛在 Hugging Face 上衝上熱門的開源工具 —— inworld/voice-isolator,把錄音裡的雜音乾淨剝離,只留下清晰人聲。整個流程不用寫複雜程式,三個步驟就能完成,而且完全免費、可以離線跑在自己電腦上。對於香港、台灣這種住宅空間密集、錄音環境往往不夠理想的情況,這個工具特別實用。

為什麼傳統降噪不夠用?

先講一個觀念,很多人以為「降噪」就是按一個鍵把所有背景聲壓低。但傳統降噪(Noise Reduction)做的是頻率濾波,它分不清「這是人聲的低頻」還是「這是冷氣的低頻」,結果往往是人聲也一起被削薄,聽起來像隔著一層紗。

語音隔離(Voice Isolation) 是另一條路。它用 AI 模型去判斷「哪一段聲音屬於人聲、哪一段屬於環境」,然後直接把人聲抽出來,而不是把雜音壓下去。差別在於:降噪是「減法」,語音隔離是「分離」。當你的錄音裡有連續性的噪音(冷氣、風扇、車聲),分離的效果會比降噪明顯好得多。

inworld/voice-isolator 正是這類模型,上週在 Hugging Face 上拿下 244 個讚,屬於語音增強(speech-enhancement)類別。它的定位很明確:給你一條乾淨的人聲軌道。

第一步:確認你的環境與素材

動手之前,先花兩分鐘檢查三件事,可以省下你大量重跑的時間。

第一,確認你的錄音是單聲道還是雙聲道。如果你的錄音是立體聲,而且人聲在正中央、雜音在兩側,其實用最基本的「中置聲道提取」就能解決一半問題。但如果是單聲道混在一起,就要交給 AI 模型。

第二,取樣率建議 44.1kHz 或 48kHz。太低(例如 8kHz 電話錄音)會讓人聲細節本來就少,模型能救回的有限;太高(96kHz 以上)只是增加運算時間,對結果幫助不大。

第三,先剪一段 30 秒的測試片段。這是最重要的一步。不要一上來就跑完整一小時的錄音,先用 30 秒試參數,確認效果滿意再跑全長。以一般筆電的 CPU 跑,30 秒片段大約 20 到 40 秒就能出結果,非常適合反覆試。

準備好之後,把音檔轉成 WAV 格式(16-bit PCM 最保險),放到一個乾淨的資料夾裡,檔名不要有中文或空格,例如 test_01.wav。

第二步:實際跑模型(三種方法任選)

這裡給你三條路,按你的技術程度挑一條就好。

方法 A:用 Hugging Face 網頁介面(最簡單)

打開模型頁面,找到右側的 Inference API 或 Space 連結。多數語音增強模型都有社群做好的 Space,你只要上傳音檔、按下執行,幾十秒後就能下載結果。這種方法零安裝,適合只想快速處理一兩段錄音的人。缺點是檔案大小通常有限制,長錄音要分段處理。

方法 B:本機用 Python 跑(推薦,可批次處理)

先安裝環境:

pip install torch torchaudio transformers

然後用大約二十行程式載入模型並處理音檔。核心邏輯是:讀入音檔 → 重取樣到模型要求的取樣率 → 送入模型 → 把輸出寫回 WAV。實際跑的時候,記得把 torch.no_grad() 加上去,可以省下大量記憶體;如果你的電腦有獨立顯卡,把 tensor 移到 GPU 上,速度快五到十倍。

方法 C:用 ffmpeg 做前後處理(搭配 A 或 B)

不論你用哪種方法,ffmpeg 都是好幫手。處理前先用 ffmpeg -i input.mp3 -ar 48000 -ac 1 output.wav 統一格式;處理後再用 ffmpeg -i clean.wav -af loudnorm 做一次響度標準化,讓音量回到適合上架的 -16 LUFS 左右。這一步很多人會漏掉,結果人聲乾淨了,但音量忽大忽小。

第三步:驗收與微調,別急著上架

跑完之後,一定要用耳機聽,不要用喇叭。喇叭會把雜音再混回去,你聽不出真實效果。

驗收時注意三個地方:開頭與結尾有沒有人聲被切掉、句與句之間的呼吸聲是否自然、以及「s」「sh」這類齒音有沒有變得刺耳。如果齒音太尖,可以在後處理加一個輕微的 de-esser;如果人聲聽起來太「乾」,加一點點殘響(reverb)會自然很多。

如果效果不理想,通常是三個原因:原始錄音的人聲太小(訊噪比太低,模型也難救)、雜音與人聲頻率高度重疊(例如同時有人在講話),或者你用的片段太短讓模型判斷不穩。建議測試片段至少 10 秒以上,模型需要一點上下文才能穩定分離。

實際案例參考:一位做線上課程的朋友,原本在客廳錄音,冷氣聲一直入麥。用這個流程處理後,他把同一段錄音分別給五位學生試聽,五個人都說「聽起來像在錄音室錄的」。他花的時間是:安裝 15 分鐘、測試 20 分鐘、跑完整 40 分鐘課程約 12 分鐘。相較於重錄一次要兩小時,這個投資報酬率非常划算。

小結:把「環境限制」變成「流程問題」

錄音環境不理想,是多數香港、台灣創作者的日常。與其花大錢做隔音裝潢,不如先把「語音隔離」納入你的後製流程。記住三個重點:先測 30 秒再跑全長、用耳機驗收、處理後做響度標準化。這三步做好,你的錄音品質會有感提升,而且整套工具免費、可離線、不上傳雲端,對重視隱私的訪談錄音尤其友善。

現在就翻出你硬碟裡那段「因為雜音而放棄」的錄音,給它第二次機會吧。

延伸閱讀

常見問題

Q: inworld/voice-isolator 跟一般降噪軟體有什麼不同?

A: 傳統降噪是壓低特定頻率的音量,容易連人聲一起削薄;語音隔離是用 AI 判斷哪些聲音屬於人聲並直接抽出,對冷氣、風扇這類連續噪音效果明顯更好,人聲細節保留也較完整。

Q: 處理一段一小時的錄音要多久?

A: 視硬體而定。一般筆電用 CPU 大約需要 20 到 40 分鐘;有獨立顯卡的話可以縮短到 5 到 10 分鐘。建議先用 30 秒片段測試參數,確認效果再跑全長,避免白等。

Q: 錄音裡同時有兩個人說話,也能分離嗎?

A: 這類模型主要處理「人聲 vs 環境噪音」,不是「人聲 vs 人聲」。如果兩人同時說話,模型會把兩把聲都當成人聲保留,無法只留其中一人。這種情況需要用 speaker diarization 之類的不同工具。

Q: 一定要用 Python 嗎?我不會寫程式。

A: 不用。多數熱門語音模型都有社群做好的網頁版 Space,上傳音檔按執行就能下載結果,完全不需要寫程式。Python 只是讓你能批次處理、自動化的進階選項。

Q: 處理後的音檔可以直接上架 Podcast 平台嗎?

A: 可以,但建議先做響度標準化(例如 -16 LUFS)並用耳機檢查齒音與呼吸聲是否自然。多數平台會自動調整音量,但先處理好能避免聽眾需要一直調音量。