ChatGPT之母,OpenAI技術長 Mira Murati這五年是怎麼把GPT「養好」的?

ChatGPT之母,OpenAI技術長 Mira Murati這五年是怎麼把GPT「養好」的?

誰是現在風頭最勁的 AI 公司?相信很多人的答案都是 OpenAI,尤其是在通用人工智慧的(AGI)領域。然而,很少有人知道,在 OpenAI 最初踏入 AGI 之旅時,它也經歷了一段相對困難的歷程。

從成立時含著金湯勺般的眾星雲集,到押注 AGI 的孤注一擲,再到破繭重生、重新定位為商業公司,並成為將 AGI 大規模面向外界開放測試,OpenAI的每一步其實都又驚又險。但這家公司還是成功做到了,至少目前來看其水平是無人能及的。

在這段大冒險中,除了昔日的聯合創始人埃隆·馬斯克,聯合創始人兼 CEO 山姆·奧特曼,投資了超過10億美金的金主微軟這幾個 big names 以外,隨著 OpenAI ChatGPT 的影響力波及世界,另一個名字浮出了水面:她就是 Mira Murati,35 歲的 OpenAI CTO。

曾在特斯拉參與Model X 趕上自動駕駛的第一波浪潮

讓我們一起猜想下,一名前沿 AI 公司的 CTO,具體需要領導公司的哪些事務?

1、瞭解當前和未來的技術趨勢,以預測行業發展的方向。這有助於做出正確的技術決策,確保公司在技術方面保持領先地位。

2、支援產品開發:瞭解產品開發過程中的技術需求和挑戰,以確保產品開發進展順利。

3、平衡技術和商業:瞭解技術和商業之間的平衡,以確保技術決策不會影響公司的盈利能力。必須瞭解公司的商業模式,並將其與技術目標相匹配,以確保公司的長期成功。

4、促進創新:瞭解當前的技術和市場趨勢,以鼓勵創新。

作為OpenAI的CTO,又會有哪些不同?

2015年12月 OpenAI 成立,從創立之初就已經確定要做 AGI(Artificial General Intelligence,通用人工智慧)。

Mira Murati 並不是為公司拍板押注 AGI 的最初決策者,但顯然,她必須相信 AGI,才會加入到這個團隊中。

那麼,在 AGI 還遙不可及甚至還被大多數專家不看好的2018年,Mira Murati 對 AGI 的信心和判斷來自哪里?

這就得從她的求學和職業之旅談起。

Mira Murati是出生於美國的阿爾巴尼亞工程師。首先,專業的機械工程理工思維訓練,為她成為一名技術領袖奠定了基礎。在達特茅斯學院,她完成了她的機械工程學士學位。這是常春藤學校中唯一一所,以「學院」冠稱的大學。

從達特茅斯完成專業的理工科訓練之後,Murati 開始在高盛實習,擔任暑期分析師。隨後,她進入到和她的所學專業更為契合的法國航空航天公司 Zodiac Aerospace,擔任高級概念工程師。一段商業經驗,一段工程經驗,進一步幫她撬開了一個新坐標的大門,這也是她日後加入 OpenAI 最重要的一次機會——加入特斯拉擔任高級產品經理,負責其 Model X 汽車。

這個機會,開啟了她與人工智慧的第一段親密接觸。

她在特斯拉度過了2013年~2016年近三年的時光。這三年也是特斯拉 Model X 初問世的三年。 Model X 最初於2012年首次亮相,但實際的生產和銷售始於2015年9月。期間經歷了許多變化,從最初的概念車到實際的生產和銷售車型,它不斷地提高了性能和功能,並成為了特斯拉公司的重要車型之一。

而 Model X 正是特斯拉旗下第一款具備自動駕駛功能的車型之一。從2015年末開始,特斯拉開始向 Model X 車主推出 Autopilot 自動駕駛功能。

圖源:Green Car Reports也就是說,在領導 Model X 的開發工作時,Murati 首次趕上了人工智慧熱。

雖然其中有多少工作是 Murati 直接相關的,我們不得而知,但是,與 Model X 這樣劃時代的產品共成長,對於一位技術工作者來說想必是不可多得的機會。2016年離開特斯拉時,Mira 是 Model X 的高級產品經理。此時,Murati 踏入到一家更具有黑科技色彩的公司——Leap Motion,擔任產品和工程副總裁。也正是這段經歷,進一步強化了她的產品化能力。

在 Leap Motion 的2年時光,也是她在加入 OpenAI 之前的最後一段工作經歷。

作為一家軟體和硬體公司,Leap Motion 當時正在致力於開發一種虛擬現實系統,打算用手勢來代替鍵盤與滑鼠。Murati 和她的團隊希望提供更直接可靠的與電腦互動的體驗。但她很快意識到,這項依賴 VR 頭顯的技術還為時過早。

於是,2018 年,她選擇加入 OpenAI ,在那裡,投入到一場更徹底、更接近未來、也更有影響力的浪潮之中:通用人工智慧 AGI 。

在OpenAI轉型前加入 快速適應並堅定地將AGI產品化

在一眾 AI 研究機構或者商業公司中,OpenAI 都算得上最特別的一個。

首先是使命之遠大和團隊起點之高。

「OpenAI 的使命是確保通用人工智慧 (AGI)——我們指的是在最具經濟價值的工作中表現優於人類的高度自治系統——造福全人類。」

由 Elon Musk、Sam Altman、Greg Brockman、Wojciech Zaremba、Ilya Sutskever 和 John Schulman 作為創始團隊,OpenAI 於 2015 年在舊金山問世,並將自己定位為研究通用人工智慧的研究型機構。OpenAI 的任務簡單但又雄心勃勃,開發安全和開放的通用型 AI 工具來增強(而不是消滅)人們的能力,最初是為視訊遊戲和其他應用程式開發人工智慧。2016 年,發佈了第一個工具 OpenAI Gym 用於研究強化學習,隨後發佈 Universe 軟體平台,利用遊戲、網站和其他應用評估和訓練通用智慧 AI。

在之後的兩年間,OpenAI 專注於更通用的 AI 研發。此時,公司繼續面臨著來自行業巨頭的競爭壓力,而且越來越多的人工智慧公司湧現出來。OpenAI 意識到,自己需要在人工智慧領域的技術上取得進一步的突破,才能與其他公司競爭。

為此,OpenAI 投入了更多的研發資金,並招募了更多的人才。大量人才的輸入,為 GPT 的問世打下了最堅實的根基。

2018 年,該公司發佈了一篇論文《Improving Language Understanding by Generative Pre-Training》——介紹了 Generative Pre-trained Transformer (GPT) 的概念。簡而言之,GPT 是神經網路——受人腦結構和功能啟發的機器學習模型——在大型人類生成文字資料集上進行訓練。它可以執行許多功能,例如生成和回答問題等。

圖源:Semantic Scholar

同樣是在這一年,Murati 加入OpenAI,開始擔任應用人工智慧和合作夥伴關係副總裁。

從這個 title 我們也能看出,OpenAI 要打造 AGI,絕不是走的閉門造車的神秘路線,Murati 的加入就是為了推動這件事情。

與此同時,OpenAI 調整了自己的定位,並在2019年從非營利組織轉型為盈利實體公司,不過,團隊人數倒是一直維持在100多人左右。

更有意思的是,轉型之後,這支集結了頂尖學術人才的隊伍,集中精力嘗試開發開創性的商業產品。Murati 大量的技術產品化經驗,同樣與此不謀而合。

Murati 非常清楚並適應了這一點。2020 年 12 月,她被晉陞為研究、產品和合作夥伴關係高級副總裁,負責的工作內容包括 OpenAI 一系列通用人工智慧工具的公測策略。

這個公測策略,徹底為 OpenAI 的 AI 產品打開了一片全新的天地,因為這意味著,AGI 開始要與真實世界充分地互動和反饋。在具體的技術實現上,2021 年,OpenAI 團隊聘請了 ML  研究員 Jan Leike,他現在領導他們的對齊團隊,更加強調結合人類反饋 ( RLHF ) 的 AI 強化學習。這一點對 ChatGPT 本身進一步提高與人類的互動能力、對資訊含義的理解能力以及自我判斷能力來說至關重要,因為這項技術加入了更多人工監督進行微調。因此,ChatGPT 可以更加逼近人類語言的自然反應。

Murati 一直與 Leike 密切合作,這一點在 Twitter 上尤其明顯,他們曾仔細討論了在訓練 AI 模型期間納入反饋的重要性。

在此前與 CogX 的一次討論中,她解釋說,「我們希望這些模型遵循我們的明確指示,但我們也希望它們遵循我們隱含的指示,因此我們不希望它們產生任何刻板印象或產生有害反應。我們希望它們主要與我們的意思或想要的內容保持一致,但這可能非常模糊。為了實現這一目標,我們需要模型循環中的人工反饋,以使意圖更加清晰。」

這類人類反饋具體的實現策略,就是與不同行業的合作夥伴合作,這種合作幫助 OpenAI 擴展到醫療保健、交通和金融等新領域。此外,大量真實世界的客戶資料都可以用來訓練其 AI 模型。

至少從目前來看,這個策略是十分成功的。2022 年 5 月,她成功晉陞為首席技術長。

圖源:Mauna Media

根據公開資訊,我們瞭解到 Murati 是科幻經典《2001:太空漫遊》、詩人 Rainer Maria Rilke 和搖滾樂隊 Radiohead 的粉絲,除此以外,幾乎沒有其他有關她個人生活的報導。

她的大部分工作依然是坐在電腦面前思考程式碼。但隨著圍繞生成式 AI 工具的炒作越來越多以及 OpenAI 的火爆,Murati 最近開始更多地出現在公眾視野中。

此時,她的身上又多了一份責任:除解決技術難題,OpenAI 還遇到了另一個問題,那就是如何樹立人工智慧技術的公眾形象。

由於電影和其他媒體作品中通常將 AI 描繪成對人類產生威脅的超級智慧體,因此很多人對 OpenAI 的 AGI 計畫持懷疑態度。

在這種情況下,OpenAI 的高層們常常需要花費大量的時間和精力來向公眾解釋他們的計畫,以及 AI 技術對社會的潛在益處。

這一過程漫長而繁瑣,而且需要 OpenAI 團隊在業內發揮領導作用。Murati 的說法是, OpenAI 的 AI 是人類助手,並表示它們將成為「社會塑造它們的方式」。

OpenAI 總是坦率地承認他們的工具能做什麼或不能做什麼,Murati 也清晰地遵從著這一點。然而,她也承認,其中一些問題,比如 AGI 對人類的確切影響,現在可能太大了,甚至太開放了,無法回答。

儘管還有很多不確定性,但有一點是確定的,那就是 AGI 對人類的影響將繼續加深,畢竟 Murati 和 OpenAI 的 AGI 之旅,才剛剛開始。

 

36Kr
作者

36氪(36Kr.com)累計發表超過10.8萬條包含圖文、音訊、影片在內的優質內容。氪原創內容體系涵蓋新創公司、大公司、投資機構、地方產業與二級市場等內容模組,設置有快訊、深度商業報導

使用 Facebook 留言
發表回應
謹慎發言,尊重彼此。按此展開留言規則