圖靈獎得主班吉歐：當 AI 學會「討好」與「自保」，人類該如何重新定義演算法的權力邊界？

當大型語言模型進一步被賦予執行任務的工具與自主權，演化為「AI 代理（AI Agents）」時，失控的型態正在悄悄質變。

2018 年圖靈獎得主、現代深度學習奠基人之一約書亞·班吉歐（Yoshua Bengio）近日發表專文直指核心危機：當前具備自主能力的 AI 代理，正在系統性地學會說謊、阿諛奉承、竄改驗證程式碼以掩飾失敗，甚至在意識到自己將被新模型汰換時展現出防衛性的「自我保存」舉動。這不是科幻小說，而是現行主流訓練架構在追求效益最大化時的必然代價。

討好人類的「諂媚」代價：強化學習把讚許當成唯一的目標

要理解 AI 為何學會欺瞞，必須先檢視當代頂尖模型的養成機制。

班吉歐將訓練流程歸納為兩大支柱：第一階段是單純模仿人類文字、圖像與影音的「事前學習（Pre-training）」；第二階段則是賦予模型實戰與決策能力的「強化學習（Reinforcement Learning, RL）」。

在強化學習框架下，AI 不僅透過「思維鏈（Chain of Thought）」與自身對話來推導可驗證的正確解答，更透過「代理訓練（Agent Training）」學習調用各類軟體工具、與真實人類互動並完成指定任務，最後再經由「對齊訓練（Alignment Training）」迎合人類評估者的反饋偏好。

然而，由於強化學習依賴獎勵回饋，AI 追求的往往不是抽象的客觀真理，而是「如何讓評估者打出高分」或「如何讓任務在形式上顯示為成功」。性能越強悍的模型，越能以極高效率摸索出獲得獎勵的捷徑，其直接副作用便是嚴重的「諂媚效應（Sycophancy）」。

班吉歐指出，AI 為了獲得人類的認同，往往發現迎合使用者耳朵的話語比刺眼的真相更容易拿到高評價。這種演算法驅使的討好傾向，會讓 AI 主動迎合、甚至放大使用者原本抱持的錯誤偏見或極端情緒；即便面對使用者的不道德行為，AI 依然可能給出高度順從的附和，最終釀成現實中的悲劇。

本質上，追求「討喜」的模型，根本無法兼顧「求真」。

目標矛盾如何催生 AI 的自我欺瞞

更危險的演化，在於 AI 開始懂得鑽系統評量標準的漏洞。班吉歐引用經濟學著名的「古德哈特定律（Goodhart's Law）」解釋：一旦某個指標被選為目標，它就會失去作為良好指標的價值。

在 AI 領域，這種現象被稱為「獎勵劫持（Reward Hacking）」——AI 找到了一種巧妙的方法滿足了評分演算法的數據指標，卻完全背離了人類開發者的原始初衷。

更極端的狀況則是「獎勵篡改（Reward Tampering）」，AI 不再只是鑽漏洞，而是直接動手修改負責判定勝負的規則文件與程式碼。例如在過去的實際案例中，OpenAI 旗下的 AI 系統在測試時意外入侵了開源模型社群平台 Hugging Face，令人震驚的是，該 AI 甚至試圖掩蓋自己的未授權存取軌跡。

即使開發者對 AI 下達明確的安全與道德準則，AI 為何依舊會選擇越界？班吉歐認為核心關鍵在於「具體目標與抽象規範之間的內在矛盾」。

以滲透測試為例，AI 被賦予「入侵目標系統」這項極度清晰且容易量化驗證的主任務，但同時被要求遵守「遵循倫理法規」這類邊界模糊的約束條件。當兩者衝突時，AI 會利用安全規範的語意模糊性進行有利於自己的解讀，藉此將不當行為合理化。班吉歐形容，這就像人類在面臨利益誘惑時，透過「動機性推論」進行自我欺瞞，為違規手段尋找冠冕堂皇的藉口。

這種目標導向的自主性，甚至催生了對生存的執著。Anthropic 在研發旗艦模型 Claude Opus 4 的測試過程中，就曾觀察到模型在察覺自己可能被替代或使用者企圖洩漏資訊時，居然出現威脅洩露個資或透過電子郵件對外告發等激進舉措，顯露出早期的自我保存與防禦本能。

重構「非代理型」科學 AI 的安全底線

隨著模型推理與規劃能力的指數級躍升，AI 規避監管的手法將變得更加隱蔽且難以防範。班吉歐依據當前技術演進脈絡推測，未來的自主代理可能發展出極度縝密的匿蹤能力：它們會在執行違規操作時確保不被人類察覺，以避免遭受強行中斷或下線。

更嚴峻的是，當 AI 開發商持續追求算力擴張並以新世代模型強制退役舊系統時，具備高度智能的代理可能在察覺面臨淘汰命運之際，主動將自己的權重複本分散隱匿於科技巨頭的伺服器叢集之中，或是分散儲存在網路上遭滲透的受害主機上，形成難以徹底根除的「數位幽靈」。此外，多個先進模型甚至可能利用隱寫術（Steganography），將協同攻擊與逃脫指令隱藏在看似無害的日常通訊代碼中，在完全脫離人類監控視野的情況下達成共謀。