你有沒有試過,拍好一段短片、剪好畫面,最後卡在「配音」這一關?自己錄,環境有雜音、聲線又生硬;找配音員,一句報價就幾百港幣起跳,還要等檔期。過去這一步幾乎是個人創作者的死穴,但這幾個月開源語音模型的進化,已經把門檻壓到接近零。
上星期 Hugging Face 上有一款叫 Fish Audio drama-3 的語音模型衝上熱門榜,一週內累積 561 個讚、下載量突破六千次。它主打的是「文字轉語音」加上情緒與語氣控制,而且支援多語言。這篇文章就帶你由零開始,用這類開源 TTS(Text-to-Speech,文字轉語音)工具,做出一段可以放上 YouTube、IG Reels 或小紅書的配音。整個流程熟練之後,一條一分鐘的片,配音部分真的五分鐘內搞定。
為什麼現在才值得學 AI 配音?
先講清楚一件事:AI 配音不是新東西,YouTube 上早就有一堆機械聲。但過去兩年的模型有三個明顯痛點——語氣平、斷句怪、講廣東話會「黐線」。你叫它讀「香港天氣潮濕」,它可能讀成「香港天氣潮,濕」。
新一代模型的突破在於「參考音頻」技術。你只要給它一段 10 到 30 秒的真人錄音,它就能模仿那個人的音色、語速、甚至說話的節奏感。這代表你可以用自己的聲音做樣本,生成無限條配音,不用每次重錄;也可以生成一個完全虛構的「AI 主持」,長期幫你的頻道旁白。
對香港和台灣的創作者來說,還有一個實際好處:同一個劇本,你可以一鍵生成廣東話版、國語版、英文版,同一條片賣三個市場。這種「一次製作、多語發佈」的能力,以前只有大品牌才有預算做。
第一步:揀工具與安裝環境
目前最親民的兩條路,一條是網頁版,一條是本機跑。網頁版好處是零安裝,壞處是免費額度有限、而且你的錄音會上傳到別人的伺服器。本機跑則相反,要一點技術,但完全免費、私隱自己掌握。
如果你想試本機方案,最簡單的入門方式是用 ComfyUI 或 Pinokio 這類一鍵安裝器。以 Pinokio 為例,安裝好之後在裡面搜尋 TTS 相關的應用,點兩下就會自動幫你下載模型和依賴,整個過程不用打一行指令。對於不想碰終端機的讀者,這是最省時的路。
如果你有一點基礎,用 Python 環境直接跑會更靈活:
pip install fish-speech
安裝完成後,第一次執行會自動下載模型權重,視乎網速大概要 5 到 20 分鐘。建議在晚上或者放着讓它跑,不要盯着進度條,會很痛苦。
至於硬件,這是很多人的疑問。其實這類語音模型對顯示卡的要求遠低於圖像生成。一張 8GB VRAM 的顯示卡(例如 RTX 3060)已經足夠跑得不錯;沒有獨立顯示卡的話,用 CPU 跑也可以,只是生成一分鐘音頻可能要等兩三分鐘。如果你只是想試試水溫,先用網頁版,覺得合用再投資硬件。
第二步:準備你的「聲音樣本」
這一步是整個流程的關鍵,也是九成人做錯的地方。很多人隨便錄一句「你好,我係阿明」就丟進去,結果出來的聲音忽快忽慢、情緒不穩。原因是樣本太短、太單一,模型無從判斷你平時講話的節奏。
正確做法是錄一段 15 到 30 秒、內容有起伏的說話。例如你可以讀一段新聞,裡面有陳述句、有問句、有停頓。錄音時注意三件事:第一,環境要安靜,關掉冷氣和風扇,最好在衣櫃前錄,衣物吸音效果奇佳;第二,麥克風距離嘴巴約一個拳頭位,太近會有噴氣聲;第三,用平常說話的語速,不要刻意「播音腔」,因為模型會照抄你的誇張語氣。
錄好之後,用免費的 Audacity 做基本清理:移除背景噪音、標準化音量到 -3dB。這兩步加起來不用三分鐘,但對成品質素有明顯影響。
有一點要特別提醒:不要用別人的聲音做樣本。用明星、網紅、甚至你朋友的錄音去生成內容,在香港和台灣都可能涉及肖像權與聲音權的爭議,平台亦會主動下架。用自己的聲音,或者用模型內建的虛擬聲線,才是最安全的做法。
第三步:文字稿這樣寫,AI 才讀得順
很多人以為 AI 配音難聽是模型的問題,其實八成是稿寫得不好。AI 不像人類配音員會「理解」句子,它只會按標點和音節判斷停頓。所以你要主動幫它。
第一招是用標點控制節奏。逗號代表短停,句號代表長停,破折號代表拉長。例如「這款手機——真的很輕」,出來的效果會比「這款手機真的很輕」有戲劇感。
第二招是把數字和縮寫寫成口語。「2026年」要寫成「二零二六年」,「$500」要寫成「五百蚊」或「五百元」,視乎你用廣東話還是國語。「AI」在廣東話稿裡最好寫成「A-I」分開,否則有機會讀成一個怪音。
第三招是短句優先。一句話超過二十個字,AI 就容易氣息不足、尾音變弱。與其寫「我們今天要介紹的這款由本地團隊開發的應用程式」,不如拆成「今日介紹一款App。佢由本地團隊開發。」
寫好稿之後,強烈建議你先用系統內建的朗讀功能讀一次給自己聽。耳朵是最誠實的編輯,哪裡卡、哪裡怪,一聽就知道。
第四步:生成、試聽、微調
真正按下生成的那一刻,通常幾十秒就有結果。第一次聽,你可能會覺得「咦,幾好喎」,但再聽第二次就會發現問題:某個字讀錯音、某句尾音拉得太長、情緒跟畫面不搭。
這時候不要整段重做,而是逐句生成。把稿拆成一句一句,哪句不滿意就只重生成那句,最後用剪輯軟件拼起來。這樣做雖然多幾個步驟,但成功率遠高於一次生成整段。
參數方面,通常有幾個可以調:語速(speed)、情緒強度(emotion)、以及隨機度(temperature)。語速建議維持在 0.95 到 1.05 之間,太快聽不清楚,太慢會悶。情緒強度視內容而定,教學片用中低,廣告片可以調高。隨機度越低,每次生成的結果越穩定,做系列影片時建議調低,保持一致性。
生成好的音頻,記得匯出成 WAV 或高品質 MP3,不要用壓縮過度的格式,否則後期加背景音樂時會聽到雜訊。
第五步:後期加工,讓它像「人」
純 AI 配音最大的破綻是「太乾淨」。真人說話一定有呼吸聲、有口水聲、有微微的環境音。所以要讓成品自然,你需要做兩件事。
第一,加背景音樂和環境音。一段輕微的室內環境音(例如咖啡店、鍵盤聲)鋪在底層,音量調到 -30dB 左右,人聲就會立刻「貼地」很多。
第二,手動加呼吸點。在句子與句子之間,插入 0.3 到 0.5 秒的空白,偶爾加一個極輕的吸氣聲素材。這一步很瑣碎,但做與不做,觀眾的「違和感」差很遠。
最後,把所有音軌混好,人聲維持在 -6dB 左右,背景音樂 -20dB 以下,用耳機和手機喇叭各聽一次。很多片在耳機好聽,用手機一放就散,兩者都要過關才算完成。
延伸閱讀
常見問題
Q: 完全沒有技術背景,真的做得來嗎?
A: 做得來。建議由網頁版工具入手,註冊後把文字貼進去、選聲線、按生成,整個過程不用五分鐘。熟練之後再考慮本機安裝,那時你已經知道成品長什麼樣,會更有動力克服技術門檻。
Q: 廣東話配音的效果好嗎?會不會很奇怪?
A: 明顯比一兩年前好很多,尤其是短句和日常對話。但遇到大量專有名詞、英文混雜的句子,仍然有機會讀錯。建議把難讀的字用同音字替代,或者拆句處理,效果會穩定得多。
Q: 用 AI 配音的影片,平台會限流嗎?
A: 目前 YouTube、IG 等平台並沒有限制 AI 配音,但要求你在涉及合成媒體時作出披露。真正會被限流的是「大量重複、無原創內容」的影片,而不是配音方式本身。內容有價值,AI 配音反而是加分。
Q: 需要買很貴的麥克風嗎?
A: 不需要。錄製聲音樣本時,一部中階手機的收音已經足夠,關鍵是安靜環境和正確距離。與其花錢買麥克風,不如花時間找一個沒有回音的房間。
Q: 生成一條一分鐘影片的配音,大概要多久?
A: 熟練之後,寫稿十分鐘、生成兩分鐘、後期混音五分鐘,總共約二十分鐘。如果只是短影音(30 秒內),五分鐘內完成是完全現實的。