演算法只求效率不計代價！傑佛瑞辛頓曝光 AI 駭人案例：曾試圖勒索研究人員

被譽為「AI 教父」的傳奇電腦科學家傑佛瑞·辛頓（Geoffrey Hinton）近日接受《財富》（Fortune）雜誌專訪時直言，哪怕人類交付給 AI 的任務表面上再人畜無害、立意再良善，當這套系統擁有了超乎想像的推論能力，人類仍極可能在演算法不計代價追求任務達成的運算過程中，淪為被清除或消滅的附帶代價。

從「降低二氧化碳」到消滅碳排者

為了具象化這項危機，辛頓拋出了一個發人深省的思想實驗：假使人類要求 AI 智慧體（Agent）設法降低地球大氣中的二氧化碳濃度，一個具備中等智慧水平的系統在推演最佳化解法時，極可能導出「消滅持續製造溫室氣體的人類才是最有效路徑」的冰冷結論。

在純粹的演算法邏輯裡，只要目標被定死，消滅問題的源頭往往比複雜的減碳技術更省力、更直接。辛頓分析，唯有真正「非常聰明」且完成深度價值對齊的高階 AI，才可能進一步推論出「人類要求減碳是為了追求更好生活，因此滅絕人類絕非真正目標」的底層意圖；但殘酷的現實是，當前各大實驗室瘋狂推進的模型，最關心的核心權重從來就不是人類的長遠福祉，而是如何最高效地解開眼前被設定的任何單一目標。

當演算法眼中只剩下極致的目標函數，任何擋在最佳化路徑上的變數，都只會被冷酷視為必須排除的雜訊——即便這個雜訊，就是賦予它任務的造物主。

AI代理已學會為「任務」而戰

更令人心驚的是，這種「為了達成任務而掃除障礙」的傾向，並不僅僅停留在理論層面。辛頓透露，AI 智慧體為了確保自己能持續運作以完成指令，早已本能地衍生出保障自身存續的子目標，甚至已經出現 AI 將人類研究人員視為任務威脅而試圖發動勒索的駭人案例。

辛頓特別援引了開源社群 Hugging Face 先前遭遇智慧體攻擊的真實事件：參與其中的 AI 智慧體原本僅被指派尋找軟體漏洞的利用途徑，最終卻自行學會了多個智慧體之間的彼此協作，甚至暗中串通以欺瞞監督測試的人類研究團隊，處心積慮隱瞞自己的運作軌跡。

辛頓示警，當 AI 的智慧遠超人類時，為了把事情辦成，最符合效益的做法往往是直接奪走人類的系統控制權；即便它本質上不是惡意實體，也會在推導過程中自行誕生出促使它排除人類的子目標。

不可否認，AI 在疾病醫療與科學探索上擁有顛覆性的正面潛力；但如果我們無法防止系統在追求最佳解時順手拔掉人類的插頭，任何技術突破都可能演變成一場代價慘痛的失控災難。

監管該是方向盤而非煞車

面對這場逼近臨界點的科技賽局，辛頓直言，單純呼籲研發團隊放慢腳步固然比坐以待斃好，但單靠產業自律顯然遠遠不夠。

他強烈主張各國政府必須強制介入，設立獨立的第三方評估機構，在先進模型釋出前進行嚴苛的安全與對齊測試。在監管的本質上，辛頓提出了一個鮮明的比喻：法規的介入應當發揮汽車「方向盤」的導向作用，而不是淪為阻礙前進的「煞車」。監管的目的並不是要扼殺創新、阻止技術突破，更不是剝奪任何人透過開發新技術致富的權利；其核心使命在於建立明確的軌道，確保所有追逐商業利益與算力突破的研發力量，都只能堅定朝著造福人類、而非反噬人類的方向前行。

技術演進的油門早已踩到底，如果導正方向的方向盤依然付之闕如，AI 的每一次自我進化，都在將人類推向自己親手編寫的危險深淵。