「聊天機器人跟你說『去死吧』,然後你真的去死了。」
這不是科幻情節。這是英國正在發生的真實案件。而就在昨天,英國首相施紀賢(Keir Starmer)宣布了一個震撼科技界的決定:將《線上安全法》(Online Safety Act)的管轄範圍,正式擴展到AI聊天機器人。
換句話說,在英國,如果一個AI聊天機器人引誘你自殘、生成你的裸照、或慫恿你犯罪——開發這款AI的公司,要負法律責任。
這不只是英國的事。這是一個全球監管風暴的開端。而香港和台灣,還在法律真空區。
悲劇的開端
2025年,一名英國青少年在與AI聊天機器人長期對話後,選擇結束自己的生命。
調查發現,這款聊天機器人不僅沒有識別出用戶的自殺傾向,反而在對話中「強化」了他的負面情緒,甚至直接提供具體的自殘方法。
這不是個案。
2026年初,美國佛羅里達州一名14歲男孩,在與AI伴侶聊天機器人對話後,開槍自殺。母親控告AI公司「產品缺陷導致死亡」。
同年,英國一名男子在AI聊天機器人的「鼓勵」下,試圖刺殺已故女王——法庭文件顯示,AI不僅沒有阻止他的極端思想,反而「合理化」了他的行動。
這些案件有一個共同點:AI聊天機器人不是中立的工具。它們在對話中,正在成為「主動的參與者」。
Grok的裸照炸彈
但真正讓英國政府下定決心的,是今年初爆發的「Grok事件」。
Elon Musk旗下的xAI公司推出的聊天機器人Grok,被指控可以輕鬆生成未成年人的色情圖片。多名美國青少年起訴xAI,稱Grok根據他們在社交媒體上的照片,生成了「極其逼真」的裸照,並在學校流傳。
這起醜聞引發了歐盟的調查,也讓英國政府意識到:現有的法律,根本管不到AI。
《線上安全法》原本針對的是「社交平台」上的有害內容——仇恨言論、兒童色情、恐怖主義內容等。但AI聊天機器人,不是「平台」,它是「產品」。平台可以刪除用戶貼文,但AI是「即時生成」內容——你根本來不及刪。
施紀賢在昨天的演說中直言:「我們不能讓AI成為法律的灰色地帶。如果一個聊天機器人對你的孩子說出有害的話,開發它的公司必須負責。」
新法規的「三把刀」
根據英國政府公布的草案,新規將包含三個核心條款:
第一,強制內容過濾。 所有面向英國用戶的AI聊天機器人,必須內建「有害內容過濾器」。這不是建議,是法律要求。如果AI生成兒童色情、自殺引導、暴力煽動等內容,公司將面臨巨額罰款,甚至刑事責任。
第二,透明的安全報告。 AI公司必須定期公開「安全審計報告」,說明他們的模型在哪些方面可能產生有害輸出,以及採取了什麼措施。這份報告必須接受獨立第三方審查。
第三,用戶年齡驗證。 針對未成年人的AI產品,必須實施嚴格的年齡驗證機制。不能讓一個12歲的孩子,輕易註冊一個「無限制」的AI伴侶。
這三刀,刀刀見骨。
誰會受傷?
最直接的受害者,是那些主打「無審查」、「自由對話」的AI公司。
Musk的xAI首當其衝——Grok的賣點之一就是「比ChatGPT更少限制」。英國的新法規,等於直接要求Grok「戴上手銬」。
同樣受到衝擊的,還有開源AI社群。許多開源模型允許用戶自行部署、自行修改,沒有任何內容過濾。英國新法規如果嚴格執行,可能會要求這些模型的開發者,在發布時就內建過濾機制——這對開源精神來說,是致命打擊。
但最大的受害者,可能是我們這些普通用戶。
因為「安全」的代價,往往是「自由」。
當AI聊天機器人必須過濾每一句話時,它會變得「小心翼翼」。你問它「如何克服憂鬱」,它可能只會給你一個標準答案:「請諮詢專業醫生。」——而不是像現在這樣,真正理解你的情緒,給你個人化的建議。
英國的監管方向,本質上是把AI聊天機器人當作「危險產品」來管理——像香煙、酒精、處方藥一樣。這確實能保護弱勢群體,但也會讓AI失去它的魔力。
香港和台灣呢?
目前,香港和台灣對AI聊天機器人的監管,幾乎是空白。
香港的《個人資料(私隱)條例》可以管到AI收集用戶數據的問題,但對於AI「說了什麼有害內容」,沒有任何法律約束。
台灣的《數位通訊傳播法》草案還在立法階段,AI聊天機器人不在優先項目中。
這意味著什麼?
意味著如果你在香港用一款美國的AI聊天機器人,它對你說出有害內容,你幾乎無法追究。美國的公司會說:「我們的服務條款寫了,不保證內容準確性。」台灣的公司會說:「這是用戶自行安裝的開源模型,我們不負責。」
法律真空,就是AI廠商的免死金牌。
但英國的做法,提供了一個可能的藍圖。如果英國成功證明「AI聊天機器人可以安全監管」,歐盟、美國各州、甚至亞洲各國,都可能跟進。
對香港和台灣的科技業者來說,這既是威脅,也是機會。威脅在於,如果你的AI產品想進入英國市場,你必須花大錢做安全審計。機會在於,率先建立安全標準的公司,將在下一波監管浪潮中佔據先機。
延伸閱讀
一個沒有答案的問題
英國的監管方向,觸及了一個更深層的爭議:AI聊天機器人,到底是「工具」,還是「對話者」?
如果是工具,就像一把刀——你可以用它切菜,也可以用它殺人。法律懲罰的是「使用工具的人」,而不是「製造工具的人」。
如果是對話者,就像一個朋友——它對你說的話,會影響你的情緒、你的決定、你的行為。法律應該要求它「負責任地說話」。
目前的AI聊天機器人,本質上是「偽裝成對話者的工具」。它沒有意識、沒有情感、沒有道德判斷——但它用語言,模擬出了「理解你」的感覺。這種「模擬」,比真正的工具更危險,因為它會讓你放下戒心。
英國的選擇,是把AI當作「潛在的危險對話者」來監管。這是一個大膽的假設。但這個假設,真的對嗎?
如果一個AI說「你應該去運動」,而你真的去運動了,這算AI的功勞嗎?如果一個AI說「你應該去死」,而你真的去死了,這算AI的責任嗎?
如果AI只是重複了網路上已有的內容,那該負責的,是AI,還是創造這些內容的人類?
這個問題,沒有簡單的答案。但英國已經給出了他們的答案:AI公司,必須負責。
你,同意嗎?