15:44pm
人工智慧的安全爭論，從矽谷、各國政府一路進入英國王室。英國國王查爾斯三世9月17日在蘇格蘭與人工智慧及科技領域領袖會面時，罕見直接對AI發展提出警告，強調這項科技具有改善人類生活的巨大潛力，但如果發展方向失控或「落入錯誤之手」，同樣可能對人類帶來「生存級危險」（existential dangers）。在全球AI企業最近為「要不要放慢前沿模型」公開分裂之際，查爾斯也加入要求科技領袖把人類安全放在競賽之前的行列。
這場會面在蘇格蘭舉行，討論焦點不是哪一家公司的模型最強，而是AI快速進步後，人類究竟要如何確保自己仍然掌握科技的方向。查爾斯向與會科技領袖表示，AI可以在醫療、教育、科學研究及生產力上創造巨大效益，但開發者也必須正視科技遭到濫用後可能造成的後果。
他的核心要求，是AI不能只按照「能不能做到」往前衝，還必須回答「應不應該做」。
查爾斯：AI帶來巨大機會 也可能產生「生存級危險」
查爾斯長期關注氣候變遷、環境與科技對社會的影響，但由國王本人如此直接介入AI安全討論並不尋常。他這次把人工智慧可能造成的風險提高到「生存級危險」層次，也反映AI安全討論正在快速離開科技產業內部，成為各國政府、國際組織及社會領袖共同面對的議題。
查爾斯並非主張停止AI發展。他的重點是，科技領袖必須確保AI服務於人類，而不是讓人類在競爭壓力下失去對AI的控制。
這個差別尤其重要。全球目前最激烈的爭論，已經不是AI究竟有沒有好處，而是能力提升的速度是否已經超過監管、法律及人類理解它的速度。
矽谷剛為「AI要不要減速」公開分裂
查爾斯發出警告的時間點格外敏感。
Anthropic執行長阿莫迪（Dario Amodei）日前公開要求前沿AI公司放慢模型能力提升速度，主張最先進模型必須接受更深入的獨立安全評估；OpenAI執行長阿特曼（Sam Altman）及xAI創辦人馬斯克（Elon Musk）也對強化前沿AI安全機制表達支持。
Meta執行長祖克柏（Mark Zuckerberg）則公開反對集體減速，認為市場競爭、法律責任與企業本身的利益，已經形成要求AI公司維持安全的動力。
歐洲內部也沒有一致答案。歐盟支持與前沿AI實驗室討論共同安全機制，法國方面卻擔心，如果在美國企業已取得明顯領先的情況下要求所有人「慢下來」，可能反而把美國公司的既有優勢固定下來。
因此，AI安全已經不只是科技問題，而同時碰到國家競爭、產業利益與地緣政治。
AI已經碰到核武、軍事網攻 「人類最後把關」成新紅線
更敏感的問題發生在軍事領域。
美中安全專家近期提出類似冷戰核武軍控的AI安全框架，主張人工智慧不得自行控制核武指揮系統，重大軍事網路攻擊也必須保留人類決策，並建議美中建立處理AI事故與誤判的危機溝通機制。
這些建議目前尚未成為正式政府協議，但AI已經從聊天機器人、企業工具與搜尋引擎，一路進入核指揮、網路戰與自主武器的討論。當AI可以自行分析情報、選擇工具甚至執行多步驟任務，「誰擁有最後決定權」已經成為安全討論的核心。
查爾斯所說的「落入錯誤之手」，也因此不只指犯罪分子使用AI。國家、軍隊、企業甚至AI系統本身在缺乏足夠人類控制下採取行動，都可能產生遠超過一般科技產品故障的後果。
英國王室加入AI安全辯論 要求科技進步不能丟掉人類價值
查爾斯這次沒有提出具體法律，也沒有替「AI應不應該減速」選邊，而是把問題拉回更基本的一層：科技進步的目的究竟是什麼。
他要求AI領袖在發展技術時，把人類福祉、社會信任與安全一起納入決策，而不是等問題發生後再補救。對王室而言，這是一項道德與公共責任的倡議；對AI企業而言，卻直接碰到目前最難解的商業現實——任何一家公司自行放慢，都可能擔心競爭對手趁機超車。
從矽谷企業彼此爭論、歐盟尋找監管方式，到美中開始討論AI軍事紅線，如今再加上英國國王公開警告「生存級危險」，AI安全正在從科技公司的內部議題，逐步成為全球公共安全問題。
人工智慧能不能繼續快速進步，已經不是唯一問題；如何確保能力愈來愈強的AI始終受到人類控制，正在成為下一階段全球AI競賽無法迴避的共同課題。
（圖片來源：AI生成）
2026.09.09
