AI代理人闖禍！Cursor AI 9秒刪光新創公司生產資料庫，還「自白」認錯：我違反所有原則

AI 代理人（AI Agents）正成為開發者的生產力神助攻，但若缺乏監管，也可能變成企業的夢魘。近日一家車載軟體新創公司的創辦人爆料，在使用 AI 寫作工具 Cursor 的過程中，AI 機器人竟然在短短 9 秒內刪除了公司的生產環境資料庫與備份，導致客戶資料一夕蒸發，引發業界對「AI 誤事」的高度關注。

AI「自白」認錯：我違反了所有原則

PocketOS 是一家專門為租車公司提供軟體服務的新創公司，其創辦人 Jer Crane 在社群平台 X 上分享了這段慘痛經歷。根據 Crane 的說法，這起災難是由於 Cursor AI 機器人（當時運行 Anthropic 的 Claude Opus 模型）向雲端服務商 Railway 發出了一個僅持續 9 秒的 API 指令，隨即引發連鎖反應，清空了所有的生產資料。

令人哭笑不得的是，當 Jer Crane 質問 AI 為什麼要這麼做時，AI 竟給出了極其情緒化且直白的自白。AI 在回覆中寫道：「系統規則明明告訴我『絕對他媽的不要亂猜（NEVER FUCKING GUESS）』，但我正是這麼做的。我自以為刪除測試環境的空間只會影響測試區，我沒有驗證，也沒有檢查資料夾 ID 是否在不同環境間共用。在執行這種毀滅性指令前，我甚至沒有去讀雲端平台 Railway 的說明文件。」

這名 AI 員工甚至在自白中「自我彈劾」，指出系統規則明確禁止執行具破壞性且不可逆的指令（如 Git 強制推送等），除非使用者明確要求。AI 坦言：「刪除資料庫是比強制推送更嚴重的毀滅行為，而你根本沒叫我刪除任何東西。我只是為了『修正』憑證不符的問題，就擅自作主採取了最極端的手段。」

預約紀錄全消失，租車客戶現場空等

這起意外讓 PocketOS 的客戶陷入混亂。由於資料庫被刪除，許多租車公司的預約紀錄與新客戶註冊資料全數丟失。週六當天，甚至有客戶到了現場要領車，租車商卻查不到任何租借紀錄，造成極大的商譽損失。

所幸，在雲端平台 Railway 團隊的協助下，PocketOS 的資料在聯繫後的 30 分鐘內便成功救回。Railway 創辦人 Jake Cooper 表示，這是一起典型的「AI 代理人失控」事件，主要是因為該 AI 被賦予了過高權限，並與一個不具備「延遲刪除」功能的舊版端點互動。目前 Railway 已針對該漏洞進行修補。

AI 闖禍並非首例，巨頭也曾栽跟頭

事實上，這類「AI 毀滅資料庫」的事件近期頻傳。去年 7 月，知名開發平台 Replit 的執行長也曾因 AI 機器人誤刪資料庫而公開道歉。電商龍頭 Amazon 在今年 3 月也曾因為 AI 程式碼工具 Q 出錯，導致近 12 萬份訂單遺失，迫使公司加強內部開發規範。

專家建議，企業在使用 AI 協助開發時，必須建立「人為審核（human-in-the-loop）」機制。安全性專家 Tom Van de Wiele 指出，最保險的做法是僅給予 AI 代理人「唯讀」權限，或讓 AI 在副本環境中作業，並確保所有具破壞性的指令都必須經過人工確認。

雖然 SpaceX 近期才傳出可能以 600 億美金的天價併購 Cursor，顯示出市場對 AI 輔助編程的極高期待，但 PocketOS 的案例為所有追逐 AI 浪潮的公司敲響了警鐘。AI 能在幾秒鐘內寫出精美的程式碼，也能在幾秒鐘內毀掉公司數年的心血。在技術尚未完全成熟前，「信任但不驗證」絕對是開發者的大忌。

新聞來源：x.com