一個數據,戳破整場AI軍備競賽

本週在 Hacker News 衝上 436 分、累積 375 則留言的一項研究結論,值得每一位企業主管停下來讀完:美國打工人的九成工作時數,花在現有 AI 基準測試(benchmark)根本沒有好好覆蓋的任務上。

換句話說,過去兩年企業砸下重金、管理層在董事會上秀出的「AI 能力評分」,測的多半是模型在標準化題目上的表現——寫一段程式、答一道數學題、摘要一篇文章。但真實辦公室裡佔掉九成時間的,是跨部門協調、追問客戶需求、在兩個互相矛盾的系統間手動補資料、判斷這封 email 該不該cc老闆。

這些事,沒有一個主流 benchmark 在測。

對香港、台灣以中小企為主的產業結構而言,這個落差不是學術問題,而是直接寫在損益表上的問題。當老闆問「我們買的 AI 到底省了多少錢」,答案往往停在「員工說好用」和「好像快了一點」之間,無法量化。這就是本文要拆解的核心:AI 投資錯位,錯在哪裡、代價多少、怎麼修。

錯位一:買了「考試滿分」的工具,卻派去做「沒人出題」的工作

目前企業採購 AI 的主流邏輯,是看模型在公開排行榜(如 MMLU、HumanEval、各類 agent benchmark)的成績。問題是,這些分數與實際崗位產出的相關性,遠比供應商簡報暗示的低。

以一個典型香港貿易公司為例:業務助理每天的工作是核對報價單、追供應商交期、把客戶的 WhatsApp 語音轉成訂單備註、再判斷哪些異常要升級給主管。這條流程裡,真正「可被 benchmark 測到」的只有文字摘要與翻譯兩段,其餘全是系統整合與判斷。企業若只導入一個聊天機器人,等於只自動化了那一成,九成照舊。

這也解釋了一個常見現象:試用期(POC)階段人人說讚,正式上線三個月後使用率崩到兩成以下。不是模型不行,是工作流沒被重新設計。HN 討論串裡有位留言者講得直白:「我們花錢買了會考試的學生,卻沒幫他安排一份真正的工作。」

錯位二:ROI 算不出來,因為根本沒設對照組

第二個錯位在衡量方法。多數企業評估 AI 專案時,用的是「使用者滿意度」與「節省時間的自我回報」,這兩項在行為經濟學裡都是出了名的高估指標。員工會說「幫我省了每天一小時」,但若沒有人去驗證那一小時是否真的轉化為產出,這個數字就是空頭支票。

真正拉得開差距的企業,做法是把 AI 導入當成對照實驗在跑:

  • 同一條流程,分 A/B 兩組,一組用 AI 輔助、一組維持原樣,跑滿一個季度再比對錯誤率與週期時間。
  • 把「節省時間」換算成「單位產出成本」,例如每張報價單的處理成本從 42 港元降到多少。
  • 設定可證偽的目標,例如「客訴回覆時效縮短 30%」,而不是「提升工作效率」。

以台灣一家中型電子零件廠的公開案例為參考,他們在導入 AI 報價輔助後,把衡量指標從「業務覺得好用」改成「報價到成交的平均天數」,六個月內從 11.2 天降到 8.4 天,換算下來等於業務團隊有效產能提升約兩成五。這才是能拿去跟董事會交代的數字。

反過來說,若企業連基準線(baseline)都沒有記錄,任何 ROI 宣稱都只是感覺。這是目前最普遍、也最貴的錯位。

錯位三:把「工具」當「同事」,忽略了最後一哩的人力成本

第三個錯位比較隱性,但殺傷力最大:企業低估了 AI 導入後新增的監督與校正成本。

研究結論的另一面是——既然九成工時落在 benchmark 覆蓋不到的任務,那麼 AI 在這些任務上的輸出,就必然需要人類覆核。問題是,很多企業在編預算時只算了「工具訂閱費」,沒算「覆核人力」。

一個具體例子:香港某保險代理團隊導入 AI 自動生成客戶跟進郵件,初期確實快,但三個月後發現,業務員平均每封要花 4 分鐘修改語氣與事實錯誤,比原本自己寫的 6 分鐘只省 2 分鐘,而錯誤率若沒抓出來,還可能導致合規風險。把覆核時間、錯誤修正、以及一次合規事故的潛在成本算進去,這個專案的實際 ROI 是負的。

這不是說 AI 沒用,而是說導入設計要包含「人機分工介面」:哪些欄位 AI 可以直接填、哪些必須人工確認、錯誤如何回饋進系統。少了這一層,AI 只是把工作從「生產」搬到「檢查」,總工時未必下降。

對香港台灣企業的三個具體啟示

把上述三個錯位收斂成可執行的建議:

第一,先盤點「九成」,再談工具。 用一週時間記錄團隊實際工時分布,標記哪些任務有明確輸入輸出、哪些需要跨系統判斷。你會發現可自動化的比例遠低於供應商話術,但被自動化的那部分,價值也更明確。

第二,每一個 AI 專案都要有對照組與一個財務指標。 沒有 baseline 的專案,一律視為實驗,不計入 ROI。這條規矩聽起來嚴苛,卻能擋掉大部分「感覺有效」的預算黑洞。

第三,把覆核成本編進預算。 人機協作的隱形成本,往往決定專案是正報酬還是負報酬。與其追求全自動,不如設計「AI 做七成、人做三成把關」的穩定流程。

延伸閱讀

結語:真正的競爭力,在benchmark之外

這場 HN 討論之所以引發共鳴,是因為它說出了很多企業中層不敢說的話:我們買的 AI,跟我們每天真正在做的事,對不上。

但這不是悲觀結論。反過來看,正因為九成工時在 benchmark 之外,那些願意坐下來重新設計工作流、建立對照組、把覆核成本算清楚的企業,反而能拉開一道競爭對手短期內追不上的差距。模型能力會趨同,工具價格會下殺,唯一不會自動趕上的是對自家流程的理解深度。

對香港與台灣的中小企而言,這或許是最務實的一課:不必追逐排行榜上的分數,先把自己那九成工時看清楚。AI 投資錯位的解方,從來不在模型裡,而在流程圖上。