2023.04.24 14:00

訓練ChatGPT語言模型不夠力,OpenAI外包商開除了31名的AI數據訓練師

ADVERTISEMENT

根據內部爆料,總部位於舊金山的 Invisible Technologies 公司於三月份裁掉了 31 名協助訓練 ChatGPT 語言模型的約聘人員。隨著 ChatGPT 在全球廣受歡迎,越來越多的用戶使用ChatGPT,OpenAI 也仍在進行各種招聘活動。

 Invisible 旗下有數百名「資深AI數據訓練師」的約聘人員與 OpenAI 合作,負責訓練其 GPT 語言模型。一位 Invisible 內部約聘人員表示,Invisible 的 AI 數據訓練師負責的任務包括有提高模型的編寫程式能力、增強其創意寫作能力或訓練它們禁止說某些東西。

Invisible 的運營副總裁 Kamron Palizban 在三月份的全體員工會議上談到了裁員,他表示 OpenAI 希望由於業務需求的變化而減少約聘人員的人數。

ADVERTISEMENT

全球聘用約超過 1,000 名AI數據訓練師

Invisible 與 OpenAI 的關係揭示了 ChatGPT 的數據訓練背後的故事,這是它一直以來對公眾保密的。

截至一月份,OpenAI 在東歐、拉丁美洲等地聘用了近 1,000 名AI數據標記約聘人員,而Invisible 的裁員時間點,則是發生在 Microsoft 投資 100 億美元到 OpenAI 之後僅僅兩個月。不過,Invisible 也並不是唯一與 OpenAI 合作的承包公司。

總部也位於舊金山的 Sama也曾為OpenAI進行AI數據訓練,不過在 2019 年 2 月,在得知其位於肯亞的數據標記員正在審查有害內容後,他們就結束了與 OpenAI 的合作。

ADVERTISEMENT

根據當時的報導,這些內容包括性虐待、仇恨言論和暴力。對此,OpenAI 發言人表示,「將有害內容(文字和圖像)進行分類和過濾,是將數據中包含的暴力和性內容量以及創建可檢測有害內容的必要步驟。」 

OpenAI CEO說 GPT-4的大模型時代已經快結束

雖然 ChatGPT 的驚人能力點燃了人們對人工智慧新的興致與投資。但OpenAI 首席執行長卻發出警告,稱孕育出這款機器人的研究策略已經走到頭了。但未來會從哪個方向取得突破還不清楚。 

但該公司CEO山姆‧阿特曼(Sam Altman)表示,AI下一步的進展,不會來自讓模型的規模變得更大。他在麻省理工學院舉行的一次活動中告訴現場觀眾: 「我認為我們已經走到了一個時代的盡頭,這些超級龐大的模型已經發展到頭。我們會用其他方式讓它們變得更好。」 

ADVERTISEMENT

阿特曼的說法也許暗示 GPT-4 將是 OpenAI 靠「規模取勝」策略(更大模型、更多資料)的最後一個重大進展。但他沒有指出應該用什麼樣的研究策略或技術來取代「規模取勝」。在描述 GPT-4 的論文裡,OpenAI 確實也指出了自己估計擴大模型規模會出現遞減的現象。阿特曼表示,企業能建造的資料中心的數量以及建造速度也存在限制。 

由他的說法來看,現階段減少AI數據訓練師看來是合理的發展。

ADVERTISEMENT

一名 AI 數據訓練師的一天

根據上述 Invisible 約聘人員的解釋,數據訓練師的最基本職責包括審查 AI 與用戶之間的對話,以確定可能包含非法、私人、冒犯或有錯誤的信息。

這位約聘人員說明了他們一天的日常工作流程。

他們開始工作的時候,會打開一個內部工作瀏覽器,並檢查他們小組的任務清單。他們可能會點擊一個類似於「與禁用瀏覽模式的用戶進行關於隨機主題的對話」的任務,然後在消息框中輸入一個查詢的問題。

提交查詢後,模型會生成四個回答。約聘人員通過打開下拉選單並選擇這個回答所發生的錯誤類型(例如事實不準確、拼寫、語法或騷擾),評估每個回答的嚴重程度,並在一到七的等級上進行排名,其中七表示「基本完美」的回答。

接下來,約聘人員必須填寫出一個真正完美的回答,並提交以完成任務。這個結果會發送給 OpenAI 和 Invisible 的品管人員去做後續的審核。這位約聘人員說。這個循環將一直重複,以進行每個後續任務。 

一些表現欠佳的約聘人員以及未能「達到證明自己的水準」的新進人員被裁員,但許多人可以選擇轉移到另一個 OpenAI 團隊,根據會議記錄。官方高層表示,「如果你今天還在這裡,我希望你知道這是因為我們對你的能力運作充滿信心和信任。」

 

 

ADVERTISEMENT