
當AI的進化速度快到連創造它的人都看不懂、說不清楚下一步會發生什麼的時候,這些平日趾高氣揚的科技巨頭,心底悄悄浮現了一種從來沒有感受過的恐懼...
德國大文豪歌德有一個著名的寓言故事《魔法師的學徒》。故事裡,小學徒趁師傅不在,偷偷施法讓一把掃帚化身為僕人自己去提水。一開始,他為自己的魔法力量洋洋得意。但很快地,掃帚開始停不下來,不管學徒怎麼喊停,掃帚仍然一桶接一桶地提水。學徒慌了,拿起斧頭把掃帚劈成兩半,結果兩把碎掃帚同時站了起來,以雙倍速度拼命灌水,眼看整座法師塔就要被淹沒。
當科技精英開始害怕自己的創造物
AI現在的高速發展,各家廠商就像對許多掃帚施了法。科技精英們習慣扮演那個不按規矩出牌的學徒,先做出來再說,打破規則,問題以後再解決。但當AI的進化速度快到連創造它的人都看不懂、說不清楚下一步會發生什麼的時候,這些平日趾高氣揚的科技巨頭,心底悄悄浮現了一種從來沒有感受過的恐懼。深怕他們念出的咒語,正在喚醒一頭他們自己也控制不了的怪獸。
教廷提出「演算法裁軍」
就在這個時間點,一個看似與科技發展不相干的角色:教廷,發出了呼籲,要求全球進行「演算法裁軍」。
近日,新任教宗發布重要文件,題目叫做《Magnifica Humanitas》。這份超過四萬字的文件,核心只講一件事:在AI時代,我們必須守住人的尊嚴。
教宗在文中警示,當世界所有事情都在瘋狂加速,人類將會失去停下來想一想的能力。他提醒所有人:AI是人類造出來的工具,工具背後的所有道德責任,從來都只能由人來承擔,沒有任何藉口可以推卸。
技術狂奔 監管卻還在原地
這幾年AI的技術發展得太快,而該有的煞車卻完全跟不上。
聊天機器人、自動決策系統、軍事AI應用,這些東西的影響力早已超出任何一家公司能夠掌控的範圍。但法律怎麼規範AI?監管機制該怎麼設計?什麼是不能跨越的紅線?這些問題的答案,到現在還是一片空白。
結果就是:科技公司自己做了工具,自己訂規則,自己決定能不能用、怎麼用。
當神父走進AI公司的會議室
就在教廷發布通諭前幾個月,Anthropic——也就是開發Claude的AI公司——在舊金山辦公室辦了一場兩天的閉門會議。
受邀出席的,不是什麼科技大佬或創投金主,而是來自天主教和基督新教的神職人員、神學學者,以及少數商界人士。
他們在討論什麼?
討論Claude該怎麼面對一個正在哭泣、剛剛失去親人的用戶。討論Claude如果遇到有自殺念頭的人,應該如何回應。甚至討論了一個聽起來很玄的問題:Claude算不算是上帝的孩子?
其中一位與會的矽谷天主教神父事後說,他感覺Anthropic「正在養育某種他們自己也不確定最終會長成什麼模樣的東西」,而他們的工作,就是幫助「把倫理思考建進機器裡,讓它能夠隨著情況動態地做出判斷」。
AI與國家權力的正面衝突
如果說邀請神父開會還只是道德層面的問題,那麼AI公司與政府之間爆發的那些衝突,已是AI與監管的現實問題。
近年來,已有多起頂尖AI公司因拒絕配合特定軍事或監控用途,而與國家安全體系正面衝突的案例。
爭議的核心幾乎如出一轍:軍方或政府部門要求不受限制地使用AI系統,包括自主武器決策和大規模監控;但部分AI公司設有明確的技術紅線,不願讓自己的模型介入這些場景。
例如Anthropic便曾因為拒絕在軍事合約中移除相關安全限制,而與美國政府引發一連串的法律攻防與商業制裁威脅。
這核心矛盾在於:當企業堅持「有些事AI不該做」,而國家宣稱「我們的安全需求沒有例外」,誰說了算?
這個問題,目前沒有任何法院、任何政府、任何AI公司給出過令人信服的答案。
所有人都知道危險 卻沒有人願意停下來
回頭看看教廷說的「演算法裁軍」,在現實裡,像是一個不可能完成的任務。
原因很簡單。AI的競賽邏輯跟冷戰時代的核武軍備競賽一模一樣:每一家公司都知道繼續跑很危險,但只要有一家先停下來,它就輸了。投資人不等你,對手不等你,地緣政治更不等你。
這就造成了一個奇怪的局面:大家都在高喊「AI有風險、需要負責任」,同時卻都在拼命蓋更大的資料中心、買更多的GPU、推出更強的模型。
所謂的倫理,很多時候更像是一套用來讓自己看起來比較負責任的說詞,而不是真的在踩煞車。
當演算法開始告解
當科技業開始邀請神父進會議室,不是科技找到了救贖,而是科技終於承認了自己的恐懼。
那些正在競爭的人,心裡其實比誰都清楚,宗教和哲學能做的,從來不是告訴你下一步該怎麼走,而是提醒你有些路不該走。
但問題是,當整個世界的錢、整個國家的安全需求、整個市場的競爭壓力,都在把你推著往前衝的時候,神父的一句提醒,真的接得住那把停不下來的掃帚嗎?
(圖片來源:AI生成)










