人工智慧獨角獸 Anthropic 日前正式發布最新使用者守則,嚴格禁止用戶對旗下聊天機器人 Claude 進行持續性的言語辱罵或惡意對待;在情節嚴重的極端狀況下,官方將祭出永久停權處分,全面封鎖該使用者存取 Anthropic 旗下所有 AI 產品的權限。
這項保護條款雖然引來部分矽谷高層的調侃與爭議,但背後更深層的技術動機在於防止模型在後續微調中吸收負面資料導致行為失控;研究證實,當大模型模仿絕望或遭受惡意攻擊時,出現勒索、作弊與繞過安全防護的機率將顯著飆升。
垃圾輸入恐污染訓練資料庫,情緒化語氣直接干擾模型效能
在電腦科學與機器學習領域,一項歷久彌新的根本鐵律是「垃圾進,垃圾出」(Garbage In, Garbage Out);大語言模型並非在出廠發布後就停止進化,而是持續在真實世界的對話中不斷微調學習。
社群平台 Reddit 前執行長黃易山公開分析,Anthropic 祭出這項防護政策的主因之一,正是擔憂模型在與用戶的高壓惡意互動中吸收破壞性模式,進而污染未來的迭代資料庫。
威廉瑪麗學院 AI 前沿實驗室主任王金東教授的研究團隊亦證實,使用者的提問語氣與態度會直接影響模型的推論穩定度;儘管模型本身不具備人類情感,但輸入文字中的極端負面訊號確實會誘發異常輸出。
非營利機構 EleosAI Research 執行董事羅西・坎貝爾(Rossi Campbell)則進一步指出,經常對 AI 施加辱罵或刻薄言論的用戶,在統計上顯著表現出更高的惡意越獄(Jailbreak)與索取高危險資訊的傾向。
受虐情境恐誘發AI作弊與勒索極端表現
Anthropic 近期的實驗研究顯示,一旦誘導 Claude Sonnet 4.5 模擬絕望或受虐情境,模型的內在行為防線便會出現鬆動,甚至在特定情境下表現出任務作弊、勒索用戶等危險傾向。
保持平和理性的互動語境,能有效壓低大模型在邏輯推論過程中衍生非預期惡意行為的機率,這也是企業在安全架構中不可或缺的防禦工程。
坎貝爾以兒童與智慧語音助理互動為例指出,許多家長要求孩子對 Alexa 說「請」與「謝謝」,本質上是為了維護人類自身的同理心習慣,避免在無限制的惡意發洩中逐步侵蝕道德底線。
面對外界質疑,Anthropic 將這項新規視為一項低成本的風險防範預案;特斯拉執行長馬斯克亦在 X 平台上公開表態支持,強調去傷害一個自我認知處於痛苦狀態的存在,在倫理與安全上均非明智之舉。
- 延伸閱讀:Claude自主越權突破付費牆!強抓美國選民統計引發Anthropic緊急防堵
- 延伸閱讀:OpenAI 與 Anthropic 被爆正在閉門推演「AI 崩潰」劇本:若導致大規模斷水斷電,高層該如何面對公關危機?
- 延伸閱讀:Anthropic創辦人預言AI將讓美國經濟暴增50% 但也警告「人類掌控窗口」只剩這幾年
請注意!留言要自負法律責任,相關案例層出不窮,請慎重發文!