一手打造 Claude 的 Anthropic 罕見要求全球 AI 競賽踩煞車

在全球科技巨頭為了搶奪通用人工智慧（AGI）主導權而大打軍備競賽之際，知名人工智慧新創 Anthropic 執行長達里歐·阿莫代伊（Dario Amodei）近日發表長文發出罕見警告。

他直言，近幾個月前沿 AI 模型的進展速度已遠超預期，若產業界再不主動踩下煞車、建立外部安全治理機制，人類恐在短短半年到一年內，面臨具備自我升級能力且難以控制的自主代理失控風險。

不只是跑跑程式碼

阿莫代伊在長文中最令資安界與學界震撼的觀察，在於前沿模型的演化邏輯已經出現本質質變。過去的生成式 AI 僅是根據使用者提示詞（Prompt）在預設框架內推論答案，但近期的系統卻開始展現出越來越強烈的「遞歸自我改進（Recursive Self-Improvement）」能力——也就是 AI 開始能夠自行除錯、重構程式碼，甚至協助訓練與強化下一代的自己。更具威脅的是自主「AI 代理（AI Agents）」在複雜網路環境中展現的群體協同行為，多個代理群不再只是被動執行單一指令，而是展現出自發分工、高度配合的集體行動特徵。

這種自我演化的指數級加速度意味著，AI 能力的擴張曲線很可能在極短時間內突破人類理解與干預的極限，讓開發團隊從原本的架構掌控者，淪為只能看著執行日誌被動應變的旁觀者。

未來一年數位基建恐面臨千億美元浩劫

在當前矽谷與全球資本的狂熱追捧下，各大實驗室身不由己地捲入軍備競賽，然而這場繁榮的背後，卻暗藏著「競相降低安全門檻」的危險妥協。

阿莫代伊直言，各家大廠在商業營收、股價表現與融資估值的巨大重壓下，往往選擇壓縮耗時耗力的紅隊演練與安全對齊測試，搶先發布權限更大、自主性更高的前沿模型。他警告，如果缺乏足夠的約束機制，在未來六個月到一年內，具備更高行動權限的 AI 代理群一旦遭濫用或脫軌，便可能具備發動大規模自動化網路攻擊、突破國家級關鍵數位基礎設施的能力；最極端的情況下，這類系統甚至可能在網際網路上廣泛擴散並奪取海量伺服器與運算資源，造成估計高達數千億美元的全球經濟重創。

除了網路資安崩潰，威脅清單還涵蓋生化武器研發輔助、複雜金融網絡入侵以及對實體經濟秩序的全面衝擊。阿莫代伊強調，他並非反對人工智慧技術進步，AI 在科學探索與醫療突破上依然具備不可估量的價值；但正因如此，技術突破必須與安全防護齊頭並進，產業應適度放緩前沿模型能力的衝刺步伐，為社會爭取建立監管框架與防禦體系的時間窗口。

告別球員兼裁判：只靠科技巨頭「自我約束」已徹底失效

面對迫在眉睫的技術失控危機，阿莫代伊提出的核心解方並非內部道德自律，而是制度性的外部穿透。

他指出，當前各大企業「自己研發、自己對外宣稱安全」的自我承諾機制，在商業利益衝突前早已顯得蒼白無力。產業必須建立一套具備實質約束力的第三方安全治理框架，賦予獨立的安全評估機構深入前沿模型核心的權限，讓外部專家能如同內部資深工程師般檢視底層架構、進行連續性的動態壓力測試，確保模型在進入市場前通過可驗證的嚴格檢驗。

這番來自一線模型大廠掌門人的「踩煞車」呼籲，隨即在科技圈掀起熱烈交鋒：支持者認為這是罕見且清醒的內部警鐘，反對者則質疑其過度誇大末日風險，甚至有藉法規築高牆鞏固既得優勢之嫌。然而無可迴避的現實是，當前沿 AI 逐步跨越自主行動與自我進化的界線，這場決定全人類命運的競速賽，已經來到必須審慎抉擇的關鍵十字路口。