1966年來首次!ACM宣佈深度學習三巨頭共同獲得圖靈獎

昨日晚間,ACM(國際電腦協會)宣佈,有「深度學習三巨頭」之稱的Yoshua Bengio、Yann LeCun、Geoffrey Hinton共同獲得了2018年的圖靈獎,這是圖靈獎1966年建立以來少有的一年頒獎給三位獲獎者。ACM同時宣佈,將於2019年6月15日在舊金山舉行年度頒獎晚宴,屆時正式給獲獎者頒獎,獎金100萬美元。

1966年來首次!ACM宣佈深度學習三巨頭共同獲得圖靈獎

根據ACM官網上的訊息顯示,ACM決定將2018年ACM A.M.圖靈獎授予約書亞‧本希奧(Yoshua Bengio)、傑佛瑞‧辛頓(Geoffrey Hinton)和楊立昆(Yann LeCun) 三位深度學習之父,以表彰他們給人工智慧帶來的重大突破,這些突破使深度神經網路成為計算的關鍵組成部分。本希奧是蒙特利爾大學教授,也是魁北克人工智慧研究所Mila的科學主任。辛頓是谷歌副總裁兼工程研究員、Vector研究所首席科學顧問、多倫多大學名譽教授。楊立昆是紐約大學教授、Facebook副總裁兼人工智慧首席科學家。 

本希奧、辛頓和楊立昆三人既有各自獨立的研究,又有相互間的合作,他們為人工智慧領域發展了概念基礎,通過實驗發現了許多驚人的成果,並為證明深度神經網路的實際優勢做出了貢獻。近年來,深度學習方法在電腦視覺、語音辨識、自然語言處理和機器人等應用領域取得了驚人的突破。

雖然人工神經網路作為一種幫助電腦辨識模式和模擬人類智慧的工具在20世紀80年代被引入,但直到21世紀初,只有楊立昆、辛頓和本希奧等一小群人仍然堅持使用這種方法。儘管他們的努力也曾遭到懷疑,但他們的想法最終點燃了人工智慧社群對神經網路的興趣,帶來了一些最新的重大技術進步。他們的方法現在是該領域的主導典範(dominant paradigm)。

1966年來首次!ACM宣佈深度學習三巨頭共同獲得圖靈獎

圖靈獎(Turing Award),全稱「A.M. 圖靈獎(A.M Turing Award)」,由美國電腦協會(ACM)於1966年設立,專門獎勵那些對電腦事業作出重要貢獻的個人。它是以英國數學家阿蘭‧M‧圖靈(Alan M. Turing)的名字命名的,圖靈闡明了計算的數學基礎和極限。目前,圖靈獎由谷歌公司提供財務支持,獎金為100萬美元。 

由於圖靈獎對獲獎條件要求極高,評獎程序極其嚴格,一般每年只獎勵一名電腦科學家,只有極少數年度有兩名合作者或在同一方向作出貢獻的科學家共享此獎。因此它是電腦界最負盛名、最崇高的一個獎項,有「電腦界的諾貝爾獎」之稱 。

「人工智慧現在是所有科學領域中增長最快的領域之一,也是社會上談論最多的話題之一,」ACM主席Cherri M.Pancake說,「人工智慧的發展和人們對它的興趣,在很大程度上要歸功於本希奧、辛頓和立昆獲得的深度學習最新進展。這些技術正被數十億人使用。任何口袋裡有智慧手機的人都能實實在在體驗到自然語言處理和電腦視覺方面的進步,而這在10年前是不可能的。除了我們每天使用的產品,深度學習的新進展也為科學家們提供了研究醫學、天文學、材料科學的強大新工具。」

谷歌資深研究員、谷歌人工智慧資深高級副總裁傑夫‧迪恩(Jeff Dean)表示:「深度神經網路對現代電腦科學的一些重大進步做出了巨大貢獻,幫助科學家在電腦視覺、語音辨識和自然語言理解等領域長期存在的問題上取得了實質性進展。」這一進步的核心是30多年前由以上三位深度學習大師開發的基礎技術。透過大幅提高電腦感知世界的能力,深度神經網路不僅改變了計算領域,而且正在改變科學和人類努力的每一個領域。」

機器學習、神經網路和深度學習

在傳統運算中,電腦程式用明確的分步指令指導電腦。

而在人工智慧研究的子領域——深度學習中,電腦並沒有被明確地告知如何解決特定的任務,比如對象分類。相反,它使用一種學習演算法來提取數據中的模式,這些模式可以將輸入資料(如圖像的像素)與期望的輸出(如標籤「貓」)關聯起來。「研究人員面臨的挑戰是開發有效的學習演算法,使之能夠調整人工神經網路中連接的權重,進而捕捉資料中的相關模式。」

傑佛瑞‧辛頓自上世紀80年代初以來一直倡導用機器學習方法研究人工智慧。受人腦的啟發,他和其他人提出的「人工神經網路」成為了機器學習研究的基石。

在電腦科學中,「神經網路」一詞指的是電腦模擬的、由被稱為「神經元」的運算元素層組成的系統。這些「神經元」僅與人腦中的神經元大致相似,它們透過加權連接相互影響。透過改變連接的權重,可以改變神經網路的運算。因為人們認識到使用多個層次構建深層網路的重要性,進而有了「深度學習」這個術語。

由於強大的圖形處理單元(GPU)電腦的普及以及大量資料集的出現,本希奧, 辛頓和楊立昆在過去30年裡奠定的概念基礎和工程進展得到了顯著的推進。近年來,這些因素和其他研究共同激發了電腦視覺、語音辨識和機器翻譯等技術的跨躍式發展。

之前,楊立昆曾在辛頓的指導下進行博士後工作,從20世紀90年代初開始,楊立昆和本希奧就在貝爾實驗室共同工作,即便沒有在一起工作,他們的研究也有著內在的聯繫和相互的影響。可以說,他們三人彼此之間的影響成就了他們的研究。

本希奧,辛頓和楊立昆一直堅持探索機器學習、神經科學和認知科學之間的交叉地帶,他們最著名的合作是共同參與了加拿大高等研究院(CIFAR)發起的機器與大腦學習計畫(the Learning in Machines and Brains program)。

今年的圖靈獎得主在人工智慧技術方面取得的重大突破包括但不限於:

傑佛瑞‧辛頓

1966年來首次!ACM宣佈深度學習三巨頭共同獲得圖靈獎

反向傳播演算法:在1986年的一篇論文「Learning Internal Representations by Error Propagation」中,辛頓與David Rumelhart和Ronald Williams證明了反向傳播演算法可以幫助神經網路發現數據的內部表示,使得神經網路可以用來解決從前無法解決的問題,反向傳播演算法是目前大多數神經網路的標準演算法。

玻爾茲曼機(Boltzmann Machines):1983年,辛頓與泰倫斯‧謝諾沃斯基(Terrence Sejnowski)一起發明了玻爾茲曼機,這是第一個能夠學習不屬於輸入或輸出的神經元內部表徵的神經網路。

卷積神經網路的改進:2012年,辛頓和他的學生Alex Krizhevsky、Ilya Sutskever一起,利用分段線性神經元(rectified linear neurons)和dropout正則化改進了卷積神經網路。在著名的ImageNet比賽中,辛頓和他的學生們使物體辨識的錯誤率幾乎減半,進而重塑了電腦視覺領域。

約書亞‧本希奧

1966年來首次!ACM宣佈深度學習三巨頭共同獲得圖靈獎

序列概率模型(Probabilistic models of sequences):20世紀90年代,本希奧將神經網路與概率模型(如隱馬爾可夫模型)相結合。它被用在AT&T/NCR閱讀手寫支票的系統裡,這被認為是20世紀90年代神經網路研究的巔峰,現代深度學習語音辨識系統正在擴展這些概念。

高維度詞嵌入和注意力模型:2000年,本希奧發表了具有里程碑意義的論文《神經概率語言模型(A Neural Probabilistic Language Model)》,引入高維度詞嵌入作為詞的意義表示,本希奧的研究對自然語言處理任務產生了巨大而持久的影響,其中包括語言翻譯、問和視覺回答。他的團隊還引入了一種注意力機制,這種注意力機制在機器翻譯方向取得了突破,成為深度學習中順序處理的關鍵組成部分。

生成對抗網路:自2010年以來,本希奧關於生成深度學習的論文,特別是與Ian Goodfellow共同開發的生成對抗網路(GANs),在電腦視覺和電腦圖形學領域引發了一場革命。一個的由此引發的驚人應用中,電腦可以自動生成原創圖像,而這種能力被認為與人類智慧類似。

楊立昆

1966年來首次!ACM宣佈深度學習三巨頭共同獲得圖靈獎

卷積神經網路:在20世紀80年代,楊立昆開發了卷積神經網路,這是該領域的一個基本原理。能夠提高深度學習的效率是它的眾多優勢之一。上世紀80年代末,楊立昆還在多倫多大學和貝爾實驗室工作時,他是第一個訓練卷積神經網路系統處理手寫數位圖像的人。

如今,卷積神經網路已經成為電腦視覺、語音辨識、語音合成、圖像合成和自然語言處理領域的行業標準。它被廣泛應用於各種應用中,包括自動駕駛、醫學圖像分析、聲控助手和訊息過濾。

改進反向傳播演算法:楊立昆提出了早期版本的反向傳播演算法(backprop),並基於變分原理對其進行了清晰的推導,他的工作加速了反向傳播演算法,包括兩種加速學習時間的簡單方法。

拓寬神經網路: 楊立昆還為神經網路開拓了廣闊的空間,將其作為處理廣泛任務的一種計算模型,並在早期的工作中引入了一些現在廣為人知的基本概念。例如,在辨識圖像領域,他研究了如何在神經網路中學習分層特徵表示。如今,這一概唸經常被用於許多辨識任務。

他和Léon Bottou一起提出了一個被應用於每一個現代深度學習軟體中的理念,即學習系統可以被構建為複雜的模組網路,在這個網路中,反向傳播通過自動分化來執行。他們還提出了能夠控制結構化數據的深度學習體系結構。

據悉,ACM將於6月15日加州舊金山年度頒獎晚宴上進行2018年圖靈獎的頒獎儀式。

使用 Facebook 留言

發表回應

謹慎發言,尊重彼此。按此展開留言規則