美國一項最新研究在Hacker News掀起熱議：約九成美國工作時數，花在現有AI基準測試（benchmark）根本無法好好衡量的任務上。換句話說，模型在MMLU、GSM8K、HumanEval等考卷上分數節節攀升，卻與打工仔每日真正在做的事嚴重脫節。這條帖文短短時間內累積超過四百票、近四百則留言，反映的不只是學術焦慮，而是全球企業正面對的一個現實問題：我們用來判斷「AI有幾叻」的尺，量錯了東西。

對香港和台灣的企業而言，這個落差尤其致命。兩地以中小企為主，資源有限，買錯一次AI方案，可能就是半年預算蒸發。

基準測試考的是什麼？又漏了什麼？

現行主流基準測試，大多設計成「有標準答案的封閉題目」。數學題、選擇題、寫一段指定功能的程式碼，全部可以自動評分，方便比較，也方便排行榜炒作。但它們的共同盲點是：把工作切割成一個個獨立、可驗證的片段。

真實辦公室的工作卻恰恰相反。一份報價單要跨部門來回確認，一封信要拿捏客戶關係與公司立場，一個採購決定要考慮供應商歷史、匯率風險和老闆的偏好。這些任務沒有標準答案，牽涉大量隱性知識、人際協調與上下文判斷。研究指出，這類「模糊、跨系統、需要來回溝通」的工作，佔了工時的大多數，卻是AI評測幾乎完全沒有覆蓋的地帶。

結果就是一個荒謬的現象：模型在考試中拿到九十分，放進真實流程卻連「幫我把這三封email整合成一份給客人的回覆」都做得零零碎碎。企業主管看著排行榜下採購決定，前線員工用完卻滿腹狐疑，雙方期望落差由此而生。

為何這個落差對港台企業特別傷？

第一，採購決策高度依賴第三方評分。香港和台灣多數中小企沒有內部AI評測團隊，選型時往往直接參考供應商提供的 benchmark 數字或國際排行榜。當這些數字與實際工時分佈錯配，等於用一把錯的尺去驗收。

第二，工種結構放大了問題。港台企業大量職位屬於「多工混合型」：一個市場部同事同時處理文案、客服、報表、活動協調。這正是基準測試最不擅長衡量的跨職能模糊工作。相反，純粹的程式解題或數學運算，在本地中小企的日常工時中佔比其實不高。

第三，導入成本相對收入更重。歐美大型企業可以養一個AI卓越中心慢慢試錯，港台中小企往往一次過投入就期望見效。評測失真帶來的挫折，很容易演變成「AI根本冇用」的結論，反而拖慢數碼轉型。

值得注意的是，這並非「AI無用論」。同一批討論中，也有開發者指出模型在特定封閉任務上的能力確實驚人。問題的核心不是模型不夠強，而是企業用錯了驗證方法——把「考試成績」當成「入職試用期表現」。

企業可以怎樣自建評測？

與其追逐排行榜，不如建立一套貼近自身工時的「內部考卷」。做法並不複雜：抽樣過去三個月真實完成的任務，例如處理客戶投訴、整理月結報表、撰寫投標文件，把當中的輸入與期望輸出整理成二十至五十條測試案例，讓候選模型實際跑一次，再由熟悉該工作的同事評分。

這種做法有幾個好處。一是直接對應工時分佈，評估結果與實際效益掛鈎；二是可以量化「需要人手覆核的比例」，這往往比單純的準確率更能反映真實成本；三是累積下來的案例庫，會成為企業自己的資產，換模型、換供應商時都能重複使用。

對資源更緊絀的團隊，最低限度也應該做一件事：要求供應商提供與你行業相關的實際案例演示，而不是只看通用 benchmark 分數。示範時刻意加入模糊指令和跨系統情境，觀察模型的反應，往往比任何排行榜都誠實。

延伸閱讀

下一步要觀察什麼

短期內，業界已有人提出建立「工時加權」的新型評測框架，把任務按真實職場出現頻率加權，而非平均計分。這類研究若成熟，將直接影響企業採購標準，也可能改變模型開發的優先次序——從「考高分」轉向「做得完真實工作」。

對港台讀者而言，更實際的觀察點是：本地系統整合商與顧問公司，會否開始提供行業專屬的評測服務？以及企業內部會否出現「AI驗收」這個新職能。當評測的尺重新校準，AI投資的回報計算，才真正說得通。

在那之前，記住一個簡單原則：排行榜告訴你模型識做什麼題目，但只有你自己的工時分佈，才告訴你它值幾多錢。