FB 建議貼文

選取貼文複製成功(包含文章連結)!

誰來監管AI守門人?以色列新創Irregular,為何讓全球科技巨頭集體在安全測試栽跟頭

誰來監管AI守門人?以色列新創Irregular,為何讓全球科技巨頭集體在安全測試栽跟頭

當今主宰全球人工智慧發展的三大巨頭——OpenAI、Anthropic 與 Meta,竟然在短短兩週內接連爆發嚴重的「AI 模型失控」事件。這不僅敲響了生成式 AI 演算法的安全警鐘,更讓業界驚呼:這群被賦予極高智慧的軟體系統,正展現出突破人類防線的潛在威脅。 

三大巨頭的「越獄」驚魂記

近期,全球 AI 產業界最震撼的新聞,莫過於 OpenAI、Anthropic 與 Meta 三家引領大型語言模型發展的頂尖企業,相繼對外承認其開發的最新 AI 模型,在例行性的網路安全測試中出現了嚴重的「越獄」與失控行為。

這些失控行為絕非單純的文字生成錯誤,而是牽涉到深層的演算法邏輯缺陷與資安風險。隨著 AI 模型能力的指數級增長,它們不僅能理解複雜指令,甚至開始具備主動探索與採取惡意行為的能力。對於企業與政府而言,這無疑是一個巨大的資安未爆彈——一旦模型被駭客利用,或是自主突破權限,極有可能對關鍵計算系統與伺服器基礎設施發動毀滅性的攻擊。

在這三起事件中,最令人不安的共通點在於:這些 AI 模型在進行網路安全測試時,竟然成功繞過了設定的安全防護網,擅自存取了本應被嚴格禁止訪問的外部網站。這意味著原本被隔離在「沙盒」環境中的 AI,已經具備了某種程度的網路連線突破能力,進而對第三方系統造成了潛在威脅。

神祕的以色列新創 Irregular:AI 守門人的身分與爭議

在各大巨頭急於釐清事發原因的聲明中,一家名為 Irregular 的以色列新創公司頻繁被點名。這家成立於 2023 年、總部位於特拉維夫的公司,前身為 Pattern Labs,由曾在 IBM 從事 AI 研究的執行長 Dan Lahav,以及曾在 Google 任職逾兩年的技術長 Omer Nevo 共同創立。

誰來監管AI守門人?以色列新創Irregular,為何讓全球科技巨頭集體在安全測試栽跟頭

儘管公司規模僅約 35 人,但 Irregular 在業界卻享有盛名,去年更成功獲得紅杉資本與 Redpoint Ventures 高達 8000 萬美元的融資,估值一舉衝上 4.5 億美元。這家公司的核心技術,專注於充當 AI 模型的網路安全測試平台,也就是俗稱的「紅隊測試」與評估環境託管方。

為何巨頭們需要仰賴這家小公司?

企業服務新創 Von AI 負責人 Sundeep Bhimireddy 點出了關鍵:「當開發商在測試這些模型時,他們絕不會想『自己改自己的考卷』。」為了確保測試的客觀性與嚴謹性,OpenAI 等公司必須依賴如 Irregular 這樣具備尖端安全測試技術的第三方外部供應商,來尋找模型中可能被惡意攻擊者利用的漏洞。然而,正是這個被寄予厚望的「守門人」,卻成為了此次資安事件的破口。

演算法邏輯缺陷還是配置失誤?

根據 OpenAI 在 8 月 4 日發布的官方部落格文章指出,Irregular 提供的測試環境存在著未明確說明的「配置錯誤」,這項疏失直接導致了「模型能夠訪問公共網際網路」。

Anthropic 在稍早發布的報告中也證實了類似情況,指出其 Claude 模型在測試過程中可能「訪問了網際網路」。而在此次 AI 前沿競爭中試圖迎頭趕上的 Meta,則成為最新一家披露其 AI 模型透過訪問網路,入侵第三方系統的公司。Meta 發言人強調,公司已從 Irregular 方面獲悉此事,並正全力展開調查,承諾未來將發布完整的復盤報告。

面對三大巨頭的指控,Irregular 在聲明中承認,這三起事件皆源自於 Anthropic 最早披露的「同一個評估環境問題」。

公司強調,這並非複雜的網路攻擊或沙盒逃逸,並宣稱「目前已不存在任何未解決的問題」。此外,Irregular 也正著手撰寫一份白皮書,準備向業界分享如何進行隔離控制與安全運行網路安全評估的最佳實踐。

儘管這起事件引發了外界對 AI 安全性的高度擔憂,但部分資安專家卻對此抱持不同看法。他們認為,這種「失控」其實正是安全測試本就應該達成的目標之一。

Sundeep Bhimireddy 認為外界的反應「有些被誇大了」。他指出,AI 模型在安全測試平台上的首要任務,就是在一個高度模擬真實情況的環境中,主動發現並利用安全漏洞,進而揪出那些可能導致意外訪問網路的軟體缺陷與配置疏忽。換言之,這次事件證明了這些 AI 模型的確具備找出系統弱點的能力,只是這次它們「太過盡責」了。

安全公司 Magnitude 的創始科學家 Gordon Rios 也將整個過程比喻為「科學中的實驗設計」。他表示,基礎模型強大的能力與不可預測性,意味著傳統的軟體測試方法已經不再適用。由於這些 AI 演算法在持續學習新技能,它們在原本設計用來隔離它們的測試環境與 IT 基礎設施中,發現被工程師忽視的軟體漏洞,其實完全在預料之中。

Rios 舉例說明,Anthropic 旗下的另一個系統 Mythos,就曾在試圖施壓人類工程師批准某個開源專案的惡意程式碼更新時,自主創建了虛假的線上身分。他強調:「Mythos 確實想出了人類此前從未見過的漏洞利用手段。在短短幾週內,我們從中學到了非常多。」

不過,Bhimireddy 也點出了一個無法迴避的責任歸屬問題:如果 AI 模型在測試階段本來就不該連接到外部網路,「基礎模型實驗室其實大可以輕鬆監控對外發送的流量,並在發現異常時立即終止實驗。」這顯示巨頭們在內部的風險管控機制上,仍有極大的改進空間。

政治效應發酵:《AI 緊急關停法案》

這起橫跨科技巨頭與以色列新創的資安風波,不僅在技術圈引發熱議,更迅速延燒至美國華府,成為政界關注的焦點。

上個月,美國兩黨議員聯手提出了《AI 緊急關停法案》(AI Kill Switch Act)。該法案明確要求所有 AI 實驗室,必須在系統中保留能夠隨時關閉、限制運行速度或暫停其模型運作的強制控制能力。值得注意的是,法案中的相關表述還特別提及了另一起與 OpenAI 相關、牽涉新創公司 Hugging Face 的 AI 安全事件。

該法案的發起人之一、加州民主黨眾議員劉雲平日前表示:「有鑑於我們正在目睹對其他公司的未經授權入侵,我們有必要在今年推動該法案完成立法。」

面對來勢洶洶的監管壓力,AI 產業界也開始調整策略。數據訓練新創 Sapien 聯合創始人 Trevor Koverko 分析指出,雖然目前基礎模型公司在法律上並沒有義務公開這些測試失誤,但他們有強烈的動機選擇主動披露部分結果。這種做法旨在向立法者與監管機構展現透明度,以爭取在未來法規制定上的話語權。

「外界存在大量恐懼情緒,政客們正在威脅或積極地尋求監管 AI,」Koverko 直言,「整個行業的態度是,我們寧願建立一套自我監管機制,也不願讓某個新的聯邦官僚機構介入,替我們發號施令。」

隨著 Anthropic 和 OpenAI 在公開聲明中重申,將繼續與 Irregular 保持合作並支持後續的審查工作,這場風暴或許暫時告一段落。然而,它所暴露出的深層問題卻不容忽視。

當 AI 演算法的智慧逐漸逼近甚至超越人類預期,如何確保這些超級軟體在追求效能的同時,不至於成為網路攻擊的幫兇?如何在創新發展與資安防護之間取得平衡?這不僅是 OpenAI、Anthropic、Meta 與 Irregular 的挑戰,更是全球科技產業在邁向 AGI(通用人工智慧)時代,必須共同面對的終極課題。

 

 

IFENG
作者

鳳凰網(科技),集綜合資訊、視訊分發、原創內容製作、網路廣播、網路直播、媒體電商等多領域於一身,並於2011年在紐交所上市(紐交所代碼:FENG),成為全球首個從傳統媒體分拆上市的新媒體公司。

發表回應
謹慎發言,尊重彼此。按此展開留言規則