OpenAI提議應該像管理核設施一樣管理AI！10年內人工智慧在大多數領域超越專家水準

OpenAI三位掌舵人聯名發文，提議像管核設施一樣管AI！

他們預言十年內AI的產出將與最大企業相當。而超級智慧是一把「雙面刃」，必須要受到監管。

近日，OpenAI CEO Sam Altman、總裁Greg Brockman和首席科學家Ilya Sutskever聯名發表了一篇「呼籲信」，認為世界需要建立一個國際人工智慧管理機構，而且要穩中求快建立起來。

他們解釋說：

人工智慧的創新速度如此之快，我們不能指望現有的權威機構能夠充分控制這項技術。

OpenAI此舉受到大量關注，推特上轉贊已超3000：

馬斯克也來評論底下湊了熱鬧，「控制很重要」：

有網友認為OpenAI提出這樣的舉措，阻礙了開放人工智慧社群的發展，這看起來是自私的，與OpenAI的名稱相違背：

也有網友對OpenAI提出的監管AI表示認同：

很高興看到這些問題受到更嚴肅的關注。

其實，在上周美國國會聽證會上，Altman就針對AI安全問題提出了三條措施：

成立一個新的機構，負責為AI大模型頒發許可，並擁有撤銷許可的權力。
為AI模型創建一套安全標準，對危險性做評估，包括它們是否能夠「自我複製」、「逃出實驗室自己行動」。
要求獨立專家對模型的各種指標做獨立審計。

OpenAI此次再次呼籲建立監管機構。

在文章中，OpenAI高層承認人工智慧不會自我管理，未來十年內人工智慧系統將在很多領域超越專家水準，並且產出能夠與當今的最大企業相匹敵。

人工智慧的發展已是大勢所趨，要想限制它的發展就需要類似全球監視體制的東西出現。

國外媒體TechCrunch認為，雖然OpenAI的提議相當於「也許我們應該做點什麼」（也帶有一點自誇的傾向），但這「至少是一個起點」。

下面是OpenAI此次發表的文章全文編譯：

超級智慧的治理

現在是思考超級智慧治理的好時機——未來的人工智慧系統在能力上將遠超通用人工智慧（AGI）。

從我們目前的觀察來看，可以想像在接下來的十年內，人工智慧系統將在大多數領域超越專家水準，其產出能夠與當今最大的企業相當。

無論是從潛在的積極影響還是負面影響來說，超級智慧都比人類曾經面對的其它技術更加強大。這意味著我們可能會迎來一個極其繁榮的未來。

然而，為了實現這個目標，我們必須有效地管理其中的風險。考慮到潛在的存在主義風險(existential risk)，我們不能僅僅採取被動的應對措施。核能就是一個常見的例子，具備類似特性的技術還包括合成生物學。

我們需要降低當前人工智慧技術的風險，但對於超級智慧，我們需要特別的處理和協調機制。

一個起點

在引導人工智慧向良發展的過程中，有許多重要的想法需要我們考慮。

在這裡，我們首先對其中的三個想法進行了初步思考：

首先，為了確保超級智慧的發展可以在安全的前提下與社會順利融合，我們需要在尖端的研發工作之間進行一定程度的協調。

實現這一目標可以採取多種方式：全球各政府可以組建一個專案，將現有的許多工作納入其中；或者我們可以達成一致意見（像下文所建議的，在新組織的支援下），限制人工智慧能力的研發增長速度，每年將其保持在一定幅度之內。

當然，我們應該要求各個公司以極高的標準負責任地行事。

其次，最終我們很可能需要類似國際原子能機構（IAEA）這樣的機構來管理超級智慧。任何達到一定能力（或運算資源等）門檻的項目都應受到國際權威機構的監管。

該機構可以檢查系統、要求審計、測試是否符合安全標準，以及限制部署程度和安全等級等。跟蹤計算和能源使用情況可能會有很長的路要走，我們需要得到一些使這個想法可以實現的希望。

作為第一步，公司可以自願同意開始實施這樣一個機構未來可能要求的一些準則；第二步，各個國家可以逐步實施。重要的是，這樣的一個機構應該專注於降低存在主義風險，而不是處理本應由各個國家解決的問題，比如規定人工智慧能夠說些什麼。

第三，我們需要具備技術能力來確保超級智慧的安全性。這是一個開放的研究問題，我們和其他人正在為此付出很多努力。

不在監管範圍內的部分

我們認為允許公司和開源項目在明顯的能力門檻以下開發模型是非常重要的，無需採取我們所描述的監管措施（包括繁瑣的機制，如許可證或審核）。

現今的系統將為世界帶來巨大的價值，雖然它們的確存在風險，但它們所帶來的風險程度與其它網際網路技術相當，而且社會對此的處理方式似乎是恰如其分的。

相比之下，我們關注的系統是那種具有超越目前任何技術的力量。

我們應該注意的是，不要透過對遠低於這個標準的技術，應用相似的標準來淡化對它們的關注。

公眾參與和潛力

然而，對於最強大系統的治理以及與其相關的部署決策，必須受到公眾強有力的監督。

我們認為全世界的人們應該以民主的方式決定AI系統的界限和預設設置。

雖然我們還不知道如何設計這樣的機制，但我們計畫進行試驗來推動。而在界限之內，我們仍然堅持認為個體使用者應該對所使用的AI系統的行為擁有很大的控制權。

考慮到其中的風險和困難，我們有必要思考為什麼要構建這項技術。

對於OpenAI來說，我們有兩個根本原因。

首先，我們相信它將帶來一個比我們今天能夠想像的更美好的世界（在教育、創意工作和個人生產力等領域，我們已經看到了早期的成果）。

世界面臨著許多問題，我們需要更多説明來解決這些問題，而這項技術可以改善我們的社會。每個人使用這些新工具的創造力肯定會讓我們感到驚歎。經濟增長和生活品質的提高也將是令人吃驚的。

其次，我們相信阻止超級智慧的創建是具有非直觀風險和困難的。因為其帶來的好處是非常巨大的，建造它的成本每年都在下降，而參與者數量在迅速增加。

它本質上是我們所走的技術道路的一部分，要監管它的發展就需要類似全球監視體制的存在。

但即便如此，也無法保證監管的有效性。

所以，我們必須把它做好。

資料來源：