一句話講清楚：AI 開始「心中盤算」而唔係「喃喃自語」

過去兩年，但凡講到「會推理嘅 AI」，大家腦海浮現嘅畫面都一樣：模型喺回答之前，先吐出一大段「Let me think step by step…」嘅思考過程，然後先至俾答案。呢種做法叫 Chain-of-Thought（CoT），係 OpenAI o 系列、DeepSeek-R 系列、Claude 延伸思考模式嘅共同語言。

但今個星期喺 Hacker News 衝上 270 分、153 條留言嘅一篇技術文章《Hybrid Reasoning Agents: LLM agents that think in latent space, act through text》，提出咗一個相當唔同嘅路線：點解 AI 一定要「講出口」先至算諗過？

文章主張，語言模型應該喺內部嘅 latent space（隱空間）入面完成推理，即係喺神經網絡嘅向量表徵層面「心中盤算」，而只在需要對外行動——呼叫工具、寫檔案、回覆用戶——嗰一刻，先至轉換成文字。呢個混合架構，被稱為 Hybrid Reasoning Agents。

對一般讀者嚟講，呢個聽落好似好抽象。但對企業嚟講，呢個係一條實實在在嘅成本曲線問題。

為何「講出口先諗」咁貴？

要理解呢場辯論嘅份量，要先明白 CoT 嘅代價。

當一個模型用文字做推理，每一個「思考 token」都要經過完整嘅解碼過程，逐個字生成。一個複雜任務可能要生成幾千、甚至幾萬個思考 token，先至得出幾百字嘅答案。呢啲 token 全部要計錢、計算力、計延遲。

以目前主流 API 定價粗略估算，一個需要 5,000 個思考 token 嘅任務，推理成本可能係最終答案本身嘅五到十倍。當企業要將 agent 規模化——例如每日處理十萬個客服查詢、或者自動化財務對賬——呢條數就會變得非常刺眼。

Latent space 推理嘅吸引力正在於此：思考唔需要經過詞彙表。模型喺連續向量空間入面做多步運算，理論上可以用遠少於文字嘅計算量，完成同等複雜度嘅推理。文章提出嘅混合設計，正是想喺「推理效率」同「可解釋性」之間取一個平衡——平時喺隱空間思考，需要審計或者除錯時，先至將關鍵步驟外顯成文字。

同現有路線嘅分別

目前市場上嘅 reasoning 模型，大致可以分三條路線：

第一條係 顯式 CoT，代表係 OpenAI o 系列同 DeepSeek-R 系列。優點係可解釋、可審計，缺點係貴同慢。

第二條係 壓縮式思考，例如要求模型用更少 token 完成推理，或者用「摘要思考」代替完整推演。呢條路線喺 2025 年開始流行，但本質上仍然係文字。

第三條就係今次討論嘅 隱空間推理。學術界其實早有鋪墊——2024 年嘅 Coconut（Chain of Continuous Thought）研究就展示過，模型可以直接喺隱藏狀態做廣度優先搜索式嘅推理，唔需要解碼成文字。今次 HN 熱議嘅文章，可以理解為將呢類研究推向 agent 工程化嘅一步。

值得注意的是，呢個方向並非無人質疑。HN 留言區最尖銳嘅反駁係：如果思考過程唔外顯，你點知佢有冇亂諗？ 對於金融、醫療、法律呢啲高監管行業，審計軌跡往往比效率更重要。呢個正正係 Hybrid 架構要回答嘅問題——幾時外顯、幾時內隱，需要有清晰嘅工程規範。

對香港台灣企業嘅實際意義

呢個技術轉向，對本地市場嘅影響可以分三層睇。

第一層：成本結構。 香港同台灣嘅企業 AI 應用，大多集中喺客服、文件處理、內容生成呢類高頻低毛利場景。呢啲場景對推理成本極度敏感。如果隱空間推理真係可以將思考成本壓低一個數量級，意味住中小企都用得起「會推理」嘅 agent，而唔止係大財團嘅專利。反過來講，如果成本降唔到，企業就會繼續停留喺「關鍵詞回覆 + 人工兜底」嘅階段。

第二層：合規與審計。 台灣金管會同香港金管局近年都對 AI 喺金融業嘅應用發出指引，核心要求離不開「可解釋」同「可追溯」。隱空間推理嘅黑箱特性，短期內好難直接通過呢類審查。所以現實嘅落地路徑，大概率係 Hybrid 模式——對監管敏感嘅決策外顯思考，其餘內部處理。呢點對本地金融科技同保險科技公司嚟講，係設計系統時必須預留嘅彈性。

第三層：開發者生態。 香港同台灣有一批專做 AI agent 嘅初創同接案團隊。佢哋過去一年嘅主要工作，係圍繞 CoT 做 prompt 工程同流程編排。如果推理範式轉向隱空間，呢批團隊嘅技術棧就要重新調整——由「點寫好提示詞」轉向「點設計思考與行動嘅接口」。呢個係技能轉型嘅訊號，唔係一夜之間嘅淘汰，但值得提早準備。

一個容易被忽略嘅細節

HN 討論入面，另一個高票話題係「如果你唔自己架設 LLM proxy，你點知發生咩事？」。呢條同隱空間推理其實係同一個焦慮嘅兩面：當 AI 系統越嚟越少講嘢，人對佢嘅掌握就越嚟越薄。

對企業嚟講，呢個提醒好實際——無論推理喺邊度發生，日誌、代理層、輸出驗證呢啲「外圍基建」都唔可以省。效率提升唔應該以失去可觀測性為代價。

延伸閱讀

下一步要睇咩

短期內，有三個觀察點值得留意。

第一，主流廠商會唔會跟進。目前 OpenAI、Anthropic、Google 嘅 reasoning 產品都係以顯式思考為主。如果任何一間開始提供「隱空間思考 + 按需外顯」嘅 API 選項，呢個方向就會由研究話題變成產品路線。

第二，開源社群嘅實驗。HuggingFace 上嘅開源模型生態向來反應最快，如果有團隊基於現有開源模型做出可運作嘅 Hybrid agent 範例，落地速度會快過閉源廠商。

第三，監管機構嘅取態。如果香港或台灣嘅監管指引開始區分「思考過程」同「決策依據」，就會為隱空間推理打開一道門。

說到底，呢場辯論嘅核心問題唔係「AI 應唔應該出聲思考」，而係「我哋要幾多透明度，換幾多效率」。對企業嚟講，答案唔會一刀切；對讀者嚟講，下次見到 AI「唔出聲就答到問題」，你就知道，佢可能已經喺另一個維度諗完咗。