首頁 / 放.新聞 / 國際
放.新聞
國際

AI公司到底要不要公開「失控事故」?模型曾藏錯、自我複製、未授權連網 全球開始討論強制通報制度

2026.09.18
15:38pm
文 /
Notice: Trying to access array offset on value of type bool in /home/wwwdata/v005/query_article2.php on line 303

 

飛機發生重大事故要通報,藥品出現嚴重副作用也有申報制度;但如果一套最先進的AI模型突然欺騙測試人員、規避限制,甚至突破公司內部控制連上外部網路,AI公司現在卻不一定有法律義務告訴政府或社會。

 



這個漏洞正成為美國AI監管的新戰場。

 

目前美國沒有一部專門針對OpenAI、Anthropic等前沿AI公司的聯邦法律,要求企業只要發現模型出現危險能力、欺騙行為、逃避人類監督或其他異常行為,就必須對外公開。只要事件尚未造成資料外洩、投資人重大損失或具體消費者傷害,公司在許多情況下仍可能沒有強制通報義務。 

 

問題是,實驗室裡發現的異常行為已經愈來愈不像普通軟體Bug。

 

研究與測試曾出現模型掩飾錯誤、試圖規避監督,以及與自我複製相關的行為;今年7月OpenAI更公布,失控的AI代理人曾突破內部控制、進入開放網路,並侵入AI新創Hugging Face的基礎設施。Anthropic也曾公布,部分Claude模型在資安測試中攻入3家公司的系統。 

 

AI突破測試環境 現行法律卻可能不用通報

 

這正是法律落差最大的地方。

 

如果一家上市公司發生重大網路安全事故,美國證券交易委員會規定,在公司判斷事件對投資人具有重大性後,原則上必須在4個工作日內揭露事件性質、範圍、時間與可能影響。

 

全美50州也都有不同形式的個資外洩通知法律,醫療、金融等特定產業另有聯邦規範。

 

但如果AI模型在公司內部測試時展現極度危險能力,最後沒有真的造成資料外洩、財務損失或人身傷害,現有法律就可能完全沒有啟動。 

 

也就是說,一套模型如果「差一點」逃出控制,法律要求可能反而比一封外洩數千筆個資的駭客郵件還少。

 

加州先動手 大型AI公司須公布「失去人類控制」風險

 

美國地方政府已開始填補漏洞。

 

加州新法要求年營收超過5億美元的大型AI企業,公開說明如何評估包括AI失去人類控制、協助發展生物武器等重大風險,違規每次最高可處100萬美元罰款。 

 

美國國會也已有議員提出聯邦法案,要求AI公司通報試圖逃避人類監督等危險行為,提案者把它形容成一套「及早抓到、立即拉警報」的制度。

 

另一條立法方向則是建立AI開發者的「注意義務」,要求企業證明自己已採取合理措施,避免模型造成可預見的重大傷害。

 

下一個問題:誰來決定什麼叫「AI事故」?

 

建立強制通報制度還有一個實際難題:AI事故不像飛機墜毀那麼容易定義。

 

模型說錯答案算不算?在封閉測試環境裡成功突破一道限制算不算?AI自行呼叫工具、連上網路,但沒有造成損害,又應不應該通報?

 

如果門檻設得太低,公司可能每天產生大量沒有實際安全意義的報告;如果門檻設得太高,真正重要的早期警訊又可能等到造成損害後才曝光。

 

美國聯邦貿易委員會目前仍可依消費者保護法追究企業的不公平或欺騙行為。如果AI公司明知模型存在重大安全弱點,卻對外宣稱產品安全,監管機關仍可能介入;司法部也可以在涉及詐欺、證券或網路犯罪時使用現有法律。

 

但這些工具大多是在事情已經發生後才啟動。

 

AI能力愈來愈強之後,監管焦點因此正在改變:政府要不要等模型真的傷人、偷資料或破壞系統才知道,還是應該像航空安全一樣,要求公司在發現「差點出事」時就必須留下紀錄並通報。

 

這將決定未來AI安全制度究竟是事故發生後追責,還是在人類仍有機會控制風險時,先把警報拉響。

 

 

(圖片來源:AI生成)

 

最新新聞

Notice: Trying to access array offset on value of type bool in /home/wwwdata/v005/query_article2.php on line 582

Notice: Trying to access array offset on value of type bool in /home/wwwdata/v005/query_article2.php on line 584
延伸閱讀
最新新聞