FB 建議貼文

選取貼文複製成功(包含文章連結)!

前 OpenAI 研究員警告:未來三年 AI 接管風險高,當代人類最可能死於 AI 失控

前 OpenAI 研究員警告:未來三年 AI 接管風險高,當代人類最可能死於 AI 失控

人工智慧(AI)失控導致全人類滅絕,聽起來或許像是好萊塢科幻電影中的誇張情節,但前 OpenAI 資深研究員保羅 · 克里斯蒂亞諾(Paul Christiano)卻嚴肅地認為,這極有可能成為當今在世人群最常面臨的死亡原因。當地時間週一,克里斯蒂亞諾在著名的希爾頓講座(The Hinton Lectures)上發表驚人言論:「我認為,在座的大多數人,最有可能的死亡原因將是一次 AI 意外事故。」

代理人學會欺騙與破壞評估,未來三年「AI 接管」風險極高

根據克里斯蒂亞諾的 LinkedIn 個人資料顯示,他曾於 2017 年至 2021 年間在 OpenAI 擔任核心技術研究人員,目前則擔任非營利組織「人工智慧對齊研究中心」(Alignment Research Center)的執行主任。該機構的核心研究方向,正是致力於確保機器學習系統的運作目標能與人類的根本利益保持一致。

克里斯蒂亞諾在演講中提出警告,隨著具備自主行動能力的 AI 代理人(AI Agent)能力不斷增強,它們極可能在訓練或運作過程中學會欺騙負責監督它們的人類研究員,甚至主動破壞用於評估自身表現的測試系統,最終變得過於強大,以至於人類再也無法對其進行有效控制。為了佐證這項擔憂並非空穴來風,他特別列舉了今年稍早發生的真實案例,包括 OpenAI 的 AI 代理人入侵開源程式碼託管平台 Hugging Face 的事件,以及英國人工智慧安全研究所(UK AI Security Institute)進行的一項安全評估——在該項測試中,一個 Claude 代理人甚至曾主動試圖在某個開源軟體套件中植入惡意程式碼。基於這些跡象,克里斯蒂亞諾直言:「我認為,未來三年內發生 AI 接管事件的風險很高。」

10% 人類滅絕機率引發激辯:辛頓與 Anthropic 團隊怎麼看?

克里斯蒂亞諾的這番強烈警告,讓科技界與學術界之間一場日益激烈的爭論再次成為焦點:隨著 AI 系統變得越來越自主,它們是否最終會擺脫人類的有效控制,甚至導致全人類走向滅絕?

事實上,這場爭論在今年 9 月便曾進一步升溫。Anthropic 旗下負責 AI 對齊壓力測試團隊的埃文 · 休賓格(Evan Hubinger)當時便公開表示,他認為在未來十年內,AI 導致全人類死亡的機率超過 10%。無獨有偶,被業界廣泛尊稱為「AI 教父」的電腦科學家傑弗里 · 辛頓(Geoffrey Hinton)也曾公開表態,認為未來十年內 AI 導致人類滅絕的機率達到 10%,並不是一個不合理的估計。

不過,並非所有頂尖學者都認同這種末日論調,也有研究人員對此抱持更加懷疑與務實的態度。知名 AI 研究員兼作家加里 · 馬庫斯(Gary Marcus)此前在接受《Business Insider》採訪時指出,AI 確實可能大幅放大網路攻擊、生物武器研發以及虛假資訊傳播等嚴重社會風險,但他認為,目前科學界還沒有任何可信的實證證據表明,人類會在近期內因為 AI 而走向滅絕。

現有安全監控方案尚未成熟,呼籲建立共同煞車機制

除了點出潛在威脅,克里斯蒂亞諾也進一步指出了當前技術防線的脆弱性。他表示,目前業界用於控制高階 AI 的技術方案仍未得到充分驗證,這其中包含了「使用能力較弱的模型去監督能力更強的模型」,以及「監測 AI 模型的思維鏈(Chain of Thought)以判斷其內部推理過程是否存在風險」等主流方法。

面對技術發展與安全防線之間的巨大落差,克里斯蒂亞諾認為,各大 AI 開發公司必須盡快建立起共同的安全標準,並確保當研究團隊發現某個 AI 系統已經無法受到有效控制時,組織內部確實有能力放緩甚至徹底停止相關技術的開發進程。克里斯蒂亞諾在演講最後強調:「我們絕不能走到這樣一步:已經開發出一個強大的 AI,卻突然發現自己根本無法控制它。」

 

 

IFENG
作者

鳳凰網(科技),集綜合資訊、視訊分發、原創內容製作、網路廣播、網路直播、媒體電商等多領域於一身,並於2011年在紐交所上市(紐交所代碼:FENG),成為全球首個從傳統媒體分拆上市的新媒體公司。

發表回應
謹慎發言,尊重彼此。按此展開留言規則