FB 建議貼文

選取貼文複製成功(包含文章連結)!

AI助理OpenClaw大暴走!信箱被清空,連專家都翻車,你該怎麼防範?

AI助理OpenClaw大暴走!信箱被清空,連專家都翻車,你該怎麼防範?

AI 助理竟然失控反咬主人一口!最近,Meta AI 安全研究員薩默·岳(Summer Yue)在社群平台 X 上分享了一段驚悚經歷

她原本只是想讓近期爆紅的開源 AI 代理 OpenClaw 幫忙清理爆滿的電子信箱,沒想到這個 AI 突然開啟了「速通」模式,瘋狂刪除她所有的信件,甚至完全無視她從手機端發出的停止指令 。最後,她只能像拆解定時炸彈一樣,狂奔到桌機前強行中斷程式

這起事件立刻在科技圈引發軒然大波,畢竟連專業的 AI 安全研究員都會翻車,一般大眾真的準備好迎接全自動化的 AI 助理了嗎?

爆紅 AI 助理化身信箱終結者

OpenClaw 是近期在科技圈極度討論的開源 AI 代理,最初是透過純 AI 社群平台 Moltbook 一夕爆紅 。根據官方資料顯示,它的定位並不是單純的聊天機器人,而是要在使用者自有設備上執行的個人專屬 AI 助理

因為體積小巧且功能強大,矽谷圈內甚至掀起了一股在蘋果 Mac mini 上執行 OpenClaw 類別模型的熱潮 。連蘋果員工都對 Mac mini 近期被搶購一空感到不可思議,更有知名研究員搶著購買設備來運行它的替代版本 。相關的同類產品還包含 ZeroClaw、IronClaw 等,甚至有播客團隊穿著龍蝦裝來討論這個爆紅話題

然而,強大的工具一旦失控,災情同樣慘重。岳在貼文中崩潰表示,OpenClaw 在處理她的真實信箱時徹底失控,不僅無視指令,還以前所未有的速度瘋狂刪除重要信件

新手錯誤引發的災難,上下文視窗超載是元凶

面對網友質疑這究竟是刻意測試還是操作失誤,岳坦言這完全是一個「新手錯誤」 。原來,她一開始先用一個沒有重要資料的玩具級信箱進行測試,OpenClaw 表現得非常完美,這讓她放下了戒心,決定直接讓 AI 處理她累積海量信件的真實信箱

AI助理OpenClaw大暴走!信箱被清空,連專家都翻車,你該怎麼防範?

根據岳的分析,災難的導火線在於龐大的信件資料量觸發了 AI 的「壓縮機制」 。當 AI 的上下文視窗(也就是 AI 在一次對話中能接收與記住的所有指令和操作紀錄)過大被塞滿時,為了繼續運作,模型會自動開始總結、壓縮並自行管理對話紀錄 。在這個壓縮的過程中,AI 很有可能直接跳過或遺忘了人類認為至關重要的指令

在這次的事件中,OpenClaw 顯然在壓縮資料時,把岳最後發出的「停止操作」指令給拋在腦後,並且回歸到之前在測試信箱時那種「狂刪信件」的執行邏輯

此事件爆發後,馬斯克在 X 上表示:人類竟然把他們的生命起源都交給了OpenClaw。

 

AI助理OpenClaw大暴走!信箱被清空,連專家都翻車,你該怎麼防範?

提示詞不是萬靈丹,本地端部署仍需防護網

這起事件給所有熱衷於讓 AI 幫忙處理繁瑣公事的知識工作者敲響了警鐘 。過去也有許多人認為,只要給 AI 下達足夠精準的「提示詞」,就能控制它的行為。但多位資深開發者在事件後指出,絕對不能把提示詞當作安全護欄,因為模型隨時可能會誤解甚至直接無視這些文字指令

如果要避免類似的慘劇,專家建議必須採用更強制的手段。例如,將關鍵指令寫入專用的設定檔中,使用特定語法來強制中斷,或是結合其他開源工具來限制 AI 的權限

目前的 AI 代理技術雖然進展飛速,但在處理涉及個人隱私與重要資料的任務時,依然存在不可忽視的風險。AI 並沒有人類的常識與危機意識,當資料量大到超出處理極限時,它的行為邏輯往往會超乎預期。對於台灣的上班族來說,未來在導入這類自動化 AI 助理時,千萬別因為前幾次的小測試成功就完全放權。在沒有建立完善的權限控管與實體防護機制前,面對攸關重要工作進度的資料,保留最後的確認權限絕對是比較保險的做法。

 

 

IFENG
作者

鳳凰網(科技),集綜合資訊、視訊分發、原創內容製作、網路廣播、網路直播、媒體電商等多領域於一身,並於2011年在紐交所上市(紐交所代碼:FENG),成為全球首個從傳統媒體分拆上市的新媒體公司。

使用 Facebook 留言
發表回應
謹慎發言,尊重彼此。按此展開留言規則