上星期 HuggingFace 有一個模型靜靜爬升:Zyphra/ZONOS3-Mini,七日內吸咗 482 個 like、近 7 萬次下載,仲同時放咗 safetensors 同 GGUF 版本。呢個唔係普通文字模型,而係一個開源文字轉語音(TTS)同語音克隆模型,主打「細模型、本地跑、零 API 費」。

對香港同台灣嘅創作者嚟講,呢個消息幾吸引:過去想玩語音克隆,幾乎一定要俾錢用 ElevenLabs,或者租雲端 GPU。ZONOS3-Mini 標榜可以喺自己部電腦度跑,唔使上傳錄音去人哋伺服器。但係「免費」同「好用」係兩回事,我實測咗幾日,講返啲真話。

呢個模型到底係咩?點解突然多人講

ZONOS3-Mini 係 Zyphra 出品嘅輕量級 TTS 模型,屬於 ZONOS 系列嘅細版本。同上一代相比,Mini 版主打兩個賣點:體積細、可以本地推理。官方提供 safetensors 格式(俾 GPU 用)同 GGUF 格式(俾 CPU 或低 VRAM 機器用),即係話就算你只得一張入門顯示卡,甚至淨係用 CPU,都有機會跑到。

佢喺 HuggingFace 嘅熱度上升得幾快,原因好簡單:語音克隆嘅需求爆緊。YouTuber 想配音、Podcast 想做多語言版本、中小企想整宣傳片旁白,全部都想「用自己把聲」而唔想每次錄音。ElevenLabs 雖然強,但每月訂閱費對個人創作者唔平,而且要把聲線樣本上傳去第三方伺服器,私隱顧慮唔少。ZONOS3-Mini 啱啱好踩中呢個痛點。

實測:安裝同設定步驟

我用一部配 RTX 4060(8GB VRAM)嘅 Windows 機做測試,流程大致如下:

  1. 裝環境:用 Python 3.11 開虛擬環境,pip install torch 加 Zyphra 官方 repo 嘅依賴。
  2. 下載模型:由 HuggingFace 拉 safetensors 版本,大約幾 GB,視乎精度。
  3. 準備樣本:官方建議用 3 至 10 秒乾淨錄音做「參考聲線」。我用自己錄咗一段約 6 秒嘅廣東話。
  4. 跑推理:輸入文字,指定參考音檔,生成 wav。

整個過程對有基本 Python 概念嘅人唔難,但唔算「一鍵安裝」。如果你完全冇碰過 command line,會撞板。GGUF 版本就要配 llama.cpp 生態嘅 TTS 前端,設定更麻煩少少。

優點:免費、本地、私隱可控

實測落嚟,最明顯嘅優勢有三個:

  • 零邊際成本:生成幾多次都唔使俾錢,跑自己部機。對於要大量生成旁白嘅人,慳返嘅訂閱費相當可觀。
  • 私隱:所有錄音同生成都喺本地,唔會上傳。對處理敏感內容(例如客戶訪談、內部培訓)嘅公司嚟講,呢點好重要。
  • 聲線還原度唔錯:以一個 Mini 級模型嚟講,音色、語調嘅相似度有驚喜,尤其喺英文同普通話短句上表現穩定。

缺點:廣東話同長句係死穴

但係唔好開心太早,實測暴露咗幾個實際問題:

  • 廣東話支援麻麻:我用廣東話樣本克隆,生成出嚟嘅粵語句子有明顯「書面語腔」,聲調有時會走音,聽落似「識講廣東話嘅外國人」。英文同普通話明顯好過粵語。
  • 長句會斷氣:超過 20 字嘅句子,語速同停頓開始唔自然,需要自己切句再拼接。
  • 情感控制弱:想做到「興奮」「溫柔」等語氣,模型支援有限,唔似 ElevenLabs 咁有 emotion 參數。
  • 硬件門檻:CPU 跑得好慢,8GB VRAM 勉強夠,想順暢就要 12GB 以上。

價錢比較:ZONOS3-Mini vs ElevenLabs

呢度係最多人關心嘅部分。ZONOS3-Mini 本身免費(開源授權,商用前要睇清楚條款),成本主要係你部機嘅電費同硬件。如果你已經有張中階顯示卡,邊際成本近乎零。

相反,ElevenLabs 免費層每月只俾好少字數,付費計劃由每月約 5 美元起,專業級要 22 美元甚至更高,而且字數用完就要加錢。以一個每週出兩條片、每條 10 分鐘旁白嘅 YouTuber 計,一年訂閱費隨時過千港元。

不過要老實講:ElevenLabs 嘅質素、穩定度同多語言支援,現階段仍然贏幾條街。ZONOS3-Mini 嘅價值唔在於「取代」,而在於「免費、可控、可以自己調」。

邊個應該用?邊個唔好掂?

適合用:有基本技術能力、想慳訂閱費、重視私隱、主要做英文或普通話內容嘅創作者同小型工作室;或者想研究 TTS 模型嘅開發者。

唔適合用:完全唔識技術、主要做粵語內容、追求即開即用同高情感表現嘅商業用戶。呢班人暫時乖乖哋俾錢用 ElevenLabs 或者雲端方案會更實際。

延伸閱讀

總結:免費有價,但唔係萬能

ZONOS3-Mini 係一個值得留意嘅開源語音克隆工具,佢證明咗「本地跑、零成本」呢條路可行,對預算有限嘅創作者係好消息。但佢現階段更似「有潛力嘅實驗品」,多過「即用型產品」——尤其粵語表現仲有好大進步空間。

如果你有技術底、又想脫離訂閱制,值得花個週末試吓;如果你只想快速出貨、唔想煩設定,就繼續用付費方案啦。免費嘅嘢,從來都係用時間同技術換返嚟嘅。