高通 AI Engine 到第四代了,它又為智慧型手機帶來了什麼好東西?

如果有人在四五年前說 AI 對於消費者就是個玩笑,除了宣傳上顯得很厲害在實用中幾乎沒用,想必還是能夠獲得不少的聲援。但是到了 2019 年,再說 AI 是噱頭,那麼反對者可以拿出的反駁證據都足夠從清晨說到午夜。

從高通 AI Engine 到手機使用,有一個我們最常用的 AI 應用案例:手機拍照自動辨識情境,並針對情境做優化,讓夜景更明亮,逆光不過曝,食物更誘人,自拍更好看… 這樣的智慧輔助拍攝演算法一部分由手機廠商自己研發,更多則是軟體開發商的研究成果。而這些軟體開發商,幾乎都是高通的 AI 生態系統合作夥伴。

高通 AI Engine 進化,和以往有何不同?

說到智慧型手機,就繞不過高通的驍龍晶片,現在說智慧型手機的 AI,也是得提高通的人工智慧引擎(AI Engine)了。

早在 2015 年,從驍龍 820 晶片開始,高通就開始在驍龍平台上整合了第一代人工智慧引擎 AI Engine,不過這遠遠不是高通在 AI 領域的起點。高通對 AI 投入研究的開端可以追溯到 2007 年,而關於人工智慧處理架構的研究也早在 2013 年就開始了。

中高階的一代神U驍龍 660 則是高通 AI Engine 為更廣泛的大眾所用、所知的開端。作為一款 2 年前發佈的晶片,驍龍 660 至今還在發光發熱,驍龍 660 和 AI Engine 見證了行動遊戲產業的全民狂熱,還有人工智慧在手機上的應用。

不過熟悉人工智慧技術發展,尤其是神經網路技術演進的人就知道,神經網路演算法的發展實在太快了,演算法以月進化,複雜度呈指數增長,不同的應用和不同的行業,對神經網路性能也有著不同的需求。面對這些需求,依靠單一硬體核心就捉襟見肘了。

因而,異構運算就必須得出場了。

高通 AI Engine 到第四代了,它又為智慧型手機帶來了什麼好東西?

在驍龍855 晶片上,高通將 AI Engine 架構升級到了第四代,基於前幾代的人工智慧引擎 AI Engine 的理念,驍龍855 平台整合的第四代 AI Engine 延續了驍龍的異構多核心程式設計,對每個核心進行進一步的優化。並且,高通第四代 AI Engine 有個重大提升:新增了兩個 HVX(Hexagon 向量加速器)和一個高通自主設計、針對 AI 處理的硬體核心 HTA(Hexagon 張量加速器)。

雖然名字有點複雜,但是我們可以簡單地解釋一下:採用異構多核心程式設計,新增兩種加速器,高通第四代 AI Engine 就像會七十二變的哪吒,面對各種計算任務有很強的變通適應能力,並且還有三頭六臂能夠同時處理複雜任務,還能聰明地根據任務的性質,進行最高效的任務分配。

在驍龍855 的第四代 AI Engine 上,涉及到 AI 計算的地方主要包括 Hexagon 690 處理器,Adreno 640 GPU 和 Kryo 485 CPU。

CPU 和 GPU 很好理解,在驍龍855 上也得到了各種升級,這裡主要談一下 AI 方面:與驍龍 845 相比,Adreno 640 GPU 算術邏輯單元(ALU)有 50% 的提升,進一步加速更高精度神經網路的運行;全新 Kryo 485 CPU 中新增了內積指令,以進一步加速 AI 性能。

更關鍵的改變在 Hexagon 690 數位訊號處理器上,不光是性能強了,核心多了,並且,高通還將以往 DSP(數位訊號處理器)需要處理的電腦視覺演算法,放在了鏡頭相關硬體模組(CV-ISP,電腦視覺影像訊號處理器)上來處理,從而釋放了 DSP 的一部分計算能力。新增的 HTA (Hexagon Tensor Accelerator,Hexagon 張量加速器)則是高通專門面向 AI 處理器的硬體核心,可以自主管理硬體中神經網路計算單元,獨立完成每一層神經網路的計算。

在其他的廠商宣傳中,這個新增的 HTA 可能被稱為 NPU,或者神經網路引擎等等。

 

AI 有點難懂,但你可能已經離不開 AI 了

對於大多數消費者來說,智慧型手機背後的處理器啊,引擎啊,性能再強大,不能讓消費者感受到,都是紙上談兵。

然而,AI 從晶片到消費者之間的距離,物理上可能只有一層手機殼和一層主機板,技術開發與融合到終端應用的落地,則需要全球化的合作。首先,AI Engine 要支援主流系統,比如 Android、Windows 和 Linux;還要對各種軟體、工具以及各類框架的支援,比如 Google 的 Tensor Flow、Caffe2 等等;然後就是我們相對熟悉的,硬體上需要支援手機、電腦、無人機、VR 眼鏡等等;最後就是和各種軟體開發商合作了,做出各種能利用 AI Engine 的預先優化軟體,讓消費者最終能夠上手使用。

圍繞高通的人工智慧引擎 AI Engine,高通打造了一個強大的 AI 生態系統,在上面的 AI 軟體合作之外,還有騰訊、百度、亞馬遜、阿里巴巴這些的雲端服務提供商。他們一起,給包括智慧型手機在內的搭載驍龍平台的終端帶來降噪、夜拍、超解析度、人臉辨識、語音辨識、人臉偵測、影片分割、背景虛化等等各種 AI 功能。

高通 AI Engine 到第四代了,它又為智慧型手機帶來了什麼好東西?

Nalbi 是一家從事電腦視覺的人工智慧公司,借助於驍龍855 上的第四代 AI Engine 可以完成一些以往難以在手機上實現的功能。比如先拍照,後對焦。

在很早之前,就有 Lytro 這樣的新創公司做了售價不菲的光場相機,提供了先拍照後對焦的功能,不過因為成本和體驗原因,消費者並不買單。後續也有手機廠商嘗試了類似的功能,不過因為技術還不夠成熟,體驗也不夠好。

到了現在,不光是手機攝影的影像感測器大了,畫素高了,而且處理器的速度也更快,人工智慧也能在手機處理複雜計算,這就使得如今的「先拍照後對焦」達到了真正可用的狀態。

如果說 Nalbi 這個技術是對既往技術的優化,還不夠突出人工智慧的厲害的話,那麼即時的影片算繪就是說明了高通 AI Engine 賦能的手機端人工智慧有多麼的黑科技了。

高通 AI Engine 到第四代了,它又為智慧型手機帶來了什麼好東西?

在 Nalbi 的示範影片裡面,這位姑娘的頭髮顏色可以隨心變換。相比於靜態的圖片,動態影片的渲染無疑要難得多,涉及到了人臉辨識、人物偵測等等多種技術,這也證明了結合第四代 AI Engine,軟體廠商可以在手機端做出更酷炫更適合大眾用戶的功能了。

圖像處理是手機端人工智慧的拿手好戲,這不意味著驍龍855 和第四代 AI Engine 只能沉醉光影,不能聽聲辨位。

高通 AI Engine 到第四代了,它又為智慧型手機帶來了什麼好東西?

通話消噪也是人工智慧可以發揮的舞台,雖然手機麥克風在硬體上可以定向拾音做到一定程度上的消噪,不過要是集合人工智慧的功能的話就更好了。其實在驍龍855 發佈的時候,高通和合作夥伴大象聲科就示範了在酒吧、體育館、噴泉旁等人聲鼎沸人海茫茫的地方的通話消噪功能。有了這個功能,哪怕是喬峰扛著錄音機在身邊打一套降龍十八掌也不會影響通話了。

在未來,AI 不光會是在手機裡面會佔有越來越重要的位置,隨著 5G 的普及,聯網設備會空前增加,天上飛的無人機,地上行駛的汽車,工廠裡的機器人等等都將與 AI 產生不可分割的聯繫,AI 將無處不在。

  • 本文授權轉載自:ifanr

使用 Facebook 留言

發表回應

謹慎發言,尊重彼此。按此展開留言規則