為什麼GPT-4不開源?OpenAI聯合創始人:過去的做法是「錯誤的」

為什麼GPT-4不開源?OpenAI聯合創始人:過去的做法是「錯誤的」

ADVERTISEMENT

OpenAI 發佈了其自稱為「迄今為止最強大、校準最好的模型」GPT-4,但人工智慧社群的一部分人對「缺乏公共資訊」感到失望。他們的抱怨,凸顯了人工智慧世界中關於安全問題的日益緊張的形勢。 

之前,OpenAI 發表了強大的 GPT-4,它是人們期待已久的下一代人工智慧語言模型。該模型的強大能力仍在評估中,但隨著研究人員和專家對其相關材料的仔細研究,一部分人對一個明顯的事實表示失望:OpenAI 發佈的 GPT-4,不是一個開放的人工智慧模型(not an open AI model)。 

儘管 OpenAI 已經分享了大量 GPT-4 的基準和測試結果,以及一些有趣的示範,但基本上沒有提供用於訓練該模型的資料、能源成本,或用於創建該模型的具體硬體或方法的資訊。 

人工智慧社群的一部分人批評了這一決定,認為它破壞了該公司作為一個研究機構的創始精神,並使其他人更難以複製其工作。也許更重要的是,一些人說,這也使人們難以制定保障措施來應對像 GPT-4 這樣的人工智慧系統所帶來的威脅,而這些抱怨是在人工智慧世界日益緊張和快速發展時顯現的。 

「我認為這一做法關閉了 'Open' AI 的大門:他們在介紹 GPT-4 的 98 頁論文中自豪地宣稱,沒有透露任何有關訓練集的內容,」 Nomic AI 資訊設計副總裁班·史密特(Ben Schmidt)在推特上表示。關於這一說法,史密特指的是 GPT-4 技術報告中的一段內容,如下:

鑒於像 GPT-4 這樣的大型模型的競爭狀況和安全影響,本報告沒有包含關於架構(包括模型大小)、硬體、訓練計算、資料集構建、訓練方法等方面的進一步細節。

在接受採訪時,OpenAI 首席科學家、聯合創始人伊爾亞‧蘇茲克維(Ilya Sutskever)對這一做法進行了說明。他表示,OpenAI 不分享關於 GPT-4 的更多資訊的原因是 「不言而喻的」——害怕競爭和對安全的擔憂。 

「在競爭格局方面--外面的競爭很激烈,」蘇茲克維說,「GPT-4 的開發並不容易。幾乎 OpenAI 的所有人在一起花了很長時間才做出了這個東西,而且(目前)有很多很多公司都想做同樣的事情。」 

「安全方面,我想說,還沒有競爭方面那麼突出。但它將會改變,基本上是這樣的。這些模型非常強大,而且會變得越來越強大。在某種程度上,如果有人想的話,很容易用這些模型造成很大的傷害。隨著(模型)能力的增強,你不想透露它們是有道理的。」 

OpenAI 於 2015 年成立,創始人包括蘇茲克維、現任首席執行長山姆·阿特曼(Sam Altman)、現已離開 OpenAI 的馬斯克。在一篇介紹性部落格文章中,蘇茲克維等人表示,該組織的目標是 「為每個人而不是股東創造價值」,並將與該領域的其他人 「自由合作」。OpenAI 成立之初是一個非營利組織,但後來為了獲得數十億美元的投資(主要來自微軟)而變成了「利潤上限」。 

當被問及為什麼 OpenAI 改變了分享其研究的方法時,蘇茲克維簡單地回答:「我們錯了。坦率地說,我們錯了。如果你像我們一樣相信,在某個時候,人工智慧/通用人工智慧將變得極其強大,令人難以置信,那麼,開源就是沒有意義的。這是一個壞主意...... 可以預料的是,在幾年內,每個人都會完全明白,開源人工智慧是不明智的。」 

然而,人工智慧社群對此事的看法各不相同。值得注意的是,在 GPT-4 發表的幾周前,Meta 開發的另一個名為 LLaMA 的人工智慧語言模型在網上遭洩露,引發了關於開源研究的威脅和好處的類似討論。不過,大多數人對 GPT-4 的「封閉」模型的最初反應是負面的。

對此,史密特表示,由於無法看到 GPT-4 是在什麼資料上訓練的,人們很難知道該系統在什麼地方可以安全使用並提出修正。

「對於人們來說,要想對這個模型在什麼地方不起作用做出明智的決定,他們需要對它的作用以及其中的假設有一個更好的認識,」 Schmidt 說,「我不會相信在沒有雪天氣候經驗的情況下訓練出來的自動駕駛汽車;一些漏洞或其他問題,很可能會在真實情況下使用時浮現出來。」

Lightning AI 首席執行長、開源工具 PyTorch Lightning 創建者威廉·福爾肯(William Falcon)表示,人們可以從商業角度上理解這一決定。「作為一家公司,它完全有權利這樣做。」 但 Falcon 也認為,這一做法為更廣泛的社群樹立了一個 「壞先例」,並可能產生有害影響。

「如果這個模型出錯了,而且會出錯的,你已經看到它出現了幻覺,給你提供了錯誤的資訊,那麼社會應該如何反應?」福爾肯說,「倫理研究人員應該如何應對並提出解決方案,並說 ‘這種方式不起作用,也許可以調整它來做這個其他事情?’」

一些人建議 OpenAI 隱藏 GPT-4 的構建細節的另一個原因是法律責任。

人工智慧語言模型是在巨大的文本資料集上進行訓練的,其中很多資料是從網路上直接獲取的,可能包括受版權保護的材料。同樣以網際網路內容為基礎訓練資料的人工智慧 「文生圖」模型,正是因為這個原因而面臨法律挑戰,目前有幾家公司正被人類藝術家和圖片庫網站 Getty Images 起訴。

當被問及這是否是 OpenAI 沒有分享其訓練資料的一個原因時,蘇茲克維表示:「我對此的看法是,訓練資料就是技術(training data is technology)。它可能看起來不是這樣的,但它是。我們不披露訓練資料的原因與我們不披露參數數量的原因基本相同。」 當被問及 OpenAI 是否可以明確表示其訓練資料不包括盜版材料時,蘇茲克維沒有回答。

Sutskever 確實同意批評者們的觀點,即開源模型有助於開發安全措施的想法是有 「價值」 的。他說:「如果有更多人研究這些模型,我們就能瞭解更多,那就太好了。」 出於這些原因,OpenAI 向某些學術和研究機構提供了存取其系統的許可權。

關於共用研究的討論是在人工智慧世界發生狂熱變化的時候進行的,壓力在多個方面都在增加。在企業方面,像Google和微軟這樣的科技巨頭正急於將人工智慧功能添加到他們的產品中,往往將以前的道德問題擱置一邊。(微軟最近解雇了一個專門負責確保其人工智慧產品遵循道德準則的團隊)。在研究方面,技術本身似乎正在迅速改善,引發了人們對人工智慧正在成為一個嚴重和迫在眉睫的威脅的擔憂。

The Centre for Long-Term Resilience 人工智慧政策負責人 Jess Whittlestone 說,平衡這些不同的壓力帶來了嚴重的治理挑戰——可能需要協力廠商監管機構參與。

「我們看到這些人工智慧能力發展得非常快,我總體上擔心這些能力的發展速度超過了我們的適應能力。」 她表示,OpenAI 不分享關於 GPT-4 的更多細節的理由是好的,但也可能導致人工智慧世界的權力集中化。

「不應該由個別公司來做這些決定,」 Whittlestone 說,「理想的情況是,我們需要把這裡的做法編纂成冊,然後讓獨立的協力廠商在審查與某些模型相關的風險以及向世界發表它們是否有意義方面發揮更大的作用。」

one more thing

在不滿 OpenAI 越來越「封閉」的人群中,自然少不了因「利益衝突」而離開 OpenAI 的馬斯克。這一次,他表達了自己的困惑:

「我仍然困惑的是,我捐了 1 億美元的非營利組織是如何成為市值 300 億美元的營利組織的。如果這是合法的,為什麼不是每個人都這樣做?」

資料來源:

bigdatadigest
作者

大數據文摘(bigdatadigest)成立於2013年7月,專注數據領域資訊、案例、技術,在多家具有影響力的網站、雜誌設有專欄,致力於打造精準數據分析社群。

使用 Facebook 留言

發表回應

謹慎發言,尊重彼此。按此展開留言規則