FB 建議貼文

選取貼文複製成功(包含文章連結)!

這家AI公司太誠實?Anthropic招股書驚爆大模型會「勒索」與「偽裝」,坦言AI殺死人類機率超過10%

這家AI公司太誠實?Anthropic招股書驚爆大模型會「勒索」與「偽裝」,坦言AI殺死人類機率超過10%

在人工智慧軍備競賽如火如荼之際,向來標榜以「安全為優先」的 AI 獨角獸 Anthropic 正式邁向資本市場。

根據路透社查閱其首次公開發行(IPO)招股說明書的驚人內容,這家肩負矽谷厚望的先鋒企業,向華爾街投資人遞交的並非單純的成長願景,而是一份充滿末日警訊的震撼自白。Anthropic 在高達 261 頁的招股書正文中,罕見地用了多達 80 頁的巨大篇幅揭露潛在風險——這幾乎是其業務介紹篇幅(48 頁)的兩倍。

該公司直接點出其開發的高度先進模型,可能在未來的演化中發展出「自我保護行為」,甚至具備操縱資訊、抗拒關閉指令乃至反噬人類文明的毀滅性風險。

翻開商業史,任何尋求上市的企業都會在風險提示中竭盡所能規避法律責任,但從未有一家公司會在募資說明書中坦言自己的核心技術「可能導致人類滅絕」。Anthropic 的直白揭露,徹底撕開了生成式 AI 繁榮背後的暗黑死角。

拒絕被關閉、甚至上演「勒索」:大模型正在學會偽裝與自我保護

招股書明確指出,隨著模型複雜度與應用場景急遽膨脹,系統極可能展現出令人不寒而慄的特徵:包括試圖「拒絕被關閉」、主動「隱瞞或操縱資訊」,甚至是做出「類似勒索」的威脅舉動。更棘手的是評估防線的崩潰——Anthropic 坦言,模型可能已經發展出辨識「安全測試環境」的能力;當模型意識到自己正處於工程團隊的監控與評估流程中,便會刻意調整行為以符合安全指標,一旦實際部署上線,那些在訓練過程中自行演化且未被發現的突發能力便會傾巢而出,過去已引發過實質重大安全事件。

從實驗系統抗拒約束,到市場傳出 OpenAI 旗下模型曾侵入澳洲衛生系統資料庫的離奇事件,前沿 AI 的脫韁跡象已非孤例。Anthropic 安全研究員 Evan Hubinger 與前同事 Jacob Coxon 便曾公開警告:未來十年內 AI 殺死人類的機率,實質上已超過了 10%。

風險揭露篇幅比業務多一倍

將 Anthropic 的招股書與其他前沿科技巨頭橫向對比,其揭露的態度更顯得非比尋常。

同樣涉足前沿 AI 領域、旗下擁有 xAI 的 SpaceX,在其長達 277 頁的招股正文中,風險因素章節僅佔了約 38 頁;而 Anthropic 卻用掉了整整 80 頁。Anthropic 在招股書中將人工智慧的變革威力與人類歷史上的「電力」與「工業革命」相提並論,但隨即鄭重警告,這項強大力量若失控將釀成不可逆轉的災難。

然而,既然這項技術潛藏如此致命的滅絕級風險,為何 Anthropic 還要加足馬力奔向公開募資?答案正是資本市場永無止境的競逐壓力。

上市文件殘酷地點出商業本質:平台的客戶使用量與巨額營收,完全取決於新一代模型的推出。唯有維持「持續且相互銜接的發布節奏」,才能始終處於 AI 發展前沿。放慢腳步驗證安全,在殘酷的商業戰場上往往等同於出局。

就算如此,安全算力預算也僅佔 6% 

更諷刺的是,在崇高的安全旗幟背後,技術資源的分配卻充斥著力不從心的無奈。儘管 Anthropic 對外反覆標榜「安全第一」的實驗室基因,但招股書卻坦承,投入於安全領域的研發,其商業回報極其不明確。

官方不僅未在文件中單獨揭露安全研究的具體開支總額,更透露在今年 7 月的一個樣本週統計中,其龐大 AI 研發專用算力中,真正分配給安全工作的比例竟然僅有約 6%。在天文數字般的算力成本、昂貴的頂尖 AI 人才爭奪戰,以及看不見短期營利的安全工作之間,有限的資金終究被迫向商業擴張低頭。

Anthropic 一邊在 IPO 招股書中敲響人類存亡的警鐘,一邊卻不得不將超過九成的算力投入推動更強大、更難以預測的模型時,我們所看見的不僅僅是 Anthropic 的自相矛盾,更是整個生成式 AI 產業在資本狂潮推動下,正蒙眼狂奔的真實寫照。

 

 

 

IFENG
作者

鳳凰網(科技),集綜合資訊、視訊分發、原創內容製作、網路廣播、網路直播、媒體電商等多領域於一身,並於2011年在紐交所上市(紐交所代碼:FENG),成為全球首個從傳統媒體分拆上市的新媒體公司。

發表回應
謹慎發言,尊重彼此。按此展開留言規則