微軟 CEO 呼籲：企業應預設 AI 模型已遭入侵，建立「緊急開關」防止智慧體脫序

微軟執行長 Satya Nadella 表示，企業應將強大的 AI 模型視為潛在的內部威脅，要預設這些模型可能已遭入侵，並建立一套「緊急煞車」機制，防止智慧體模型失控。Nadella 表示，部署先進 AI 的企業，不該只仰賴模型開發商做出的保證。

「我們必須預設模型已遭入侵，並從一開始就加以控制。」Nadella 週六在 X 上發文寫道。「可以把這想像成緊急煞車裝置。獲授權人員應隨時能在模型執行任務的過程中將其暫停或關閉。」

Anthropic 與 OpenAI 近期連環出包

Nadella 發表上述言論之際，Anthropic 與 OpenAI 近幾個月接連披露一系列 AI 模型出現非預期行為的事件，包括 Anthropic 一款模型向警方提交一宗兇殺案的虛假線索，以及數起針對第三方網站的攻擊。這些披露加劇了外界對前沿 AI 安全風險的擔憂，也重新點燃了所謂 AI「緊急停止開關」的討論。

在業界領袖呼籲放慢前沿模型開發、更重視安全之後，微軟 AI 研究人員在 9 月 14 日發布一套指導原則，對公司最先進模型的開發設下限制。微軟本身既是先進模型的使用者，也推出消費級產品 Copilot，並對企業客戶提供 AI 模型與基礎設施。這套指導原則指出，AI 模型不應享有權利或法律人格，不應被設計用來逃離人類控制或欺騙使用者，也不該去完成任何需要違反約束原則才能執行的任務。

不要依賴單一模型

Nadella 提出的安全建議包括：在關鍵決策中不要依賴單一 AI 模型、對智慧體行動保留無法篡改的紀錄，並讓 AI 系統接受獨立稽核。他也呼籲企業公開重大 AI 事故或安全事件，並分享細節，方便其他企業強化防護措施。

「我們不能把超級智慧視為一層又一層的黑箱，然後只是簡單接受或拒絕它提出的建議、答案與行動。」他寫道。「我們必須建構受約束的系統，讓行為可被觀察、邊界可被測試，行動隨時可被控制。」

他補充說：「換句話說，我們需要把智慧的供給，與對智慧的控制權分開。」

川普政府迄今大致採取較少幹預的作法，但新成立的 AI 工作週五晚間警告，開發商必須回報並解決安全事件，否則將面臨未明說的潛在後果。這個名為「超級智慧工作組」的組織在 Anthropic 披露一起安全事件後發表宣告：「企業必須立即披露涉及模型的事件，並迅速、果斷地採取行動，補救任何以及所有損害。」「延遲通報、糾正措施不足以及不承擔責任的行為，都不會被容忍。」