以事件為基礎的神經擬態視覺傳感器來了!處理速度更快,算力要求降低,手機和車都能用

以事件為基礎的神經擬態視覺傳感器來了!處理速度更快,算力要求降低,手機和車都能用

ADVERTISEMENT

機器是怎麼「看」世界的?

透過一格格的影像。

傳統的圖像感測器會透過每秒捕獲多張靜止圖像來記錄場景運動。

如果將這一系列圖像通過足夠快的速度連續展示,人類視覺就能產生「這是連續運動」的錯覺。

以事件為基礎的神經擬態視覺傳感器來了!處理速度更快,算力要求降低,手機和車都能用

但對於電腦來說,無論是多快的速率,影格與影格之間總會遺失某些運動訊息。

以事件為基礎的神經擬態視覺傳感器來了!處理速度更快,算力要求降低,手機和車都能用

那麼,有沒有辦法讓機器連續地「看」到運動場景或事件呢?

今天就來看看普諾飛思(Prophesee)公司的「神經擬態機器眼」解決方案。

以事件為基礎的神經擬態視覺傳感器來了!處理速度更快,算力要求降低,手機和車都能用

來自人眼的啟發

要了解這個「機器眼」,首先得看看它模仿的源頭:

人眼。

我們是如何透過人眼來看世界的呢?

當眼睛中的視覺細胞感測到場景變化——即發生了某個事件時,它就會將相關訊息通過視神經傳到大腦皮層。而收集到的數據也是持續的,是以事件為基礎的。

因此,普諾飛思的研究者們以人眼為啟發,提出了基於事件的視覺感知技術。

和傳統圖像感測器不同,在基於這種技術的感測器中,每個像素都是非同步且獨立的。

因此,圖像訊息並不是逐格發送,而是透過連續的訊息流捕獲事件運動:

以事件為基礎的神經擬態視覺傳感器來了!處理速度更快,算力要求降低,手機和車都能用

而如果從事件的角度來考慮,靜止和場景並不會帶來新的訊息。

因此,這種技術也就不關注完全靜止的場景:

以事件為基礎的神經擬態視覺傳感器來了!處理速度更快,算力要求降低,手機和車都能用

只有場景中發生某個事件,產生了變化時,感測器才會產生輸出:

以事件為基礎的神經擬態視覺傳感器來了!處理速度更快,算力要求降低,手機和車都能用

如果是以影格為單位來獲取這種圖像訊息的變化,那得一張一張固定頻率發送,然後一個像素一個像素的比較。

而現在,只關注動態變化,也就剔除了很多多餘訊息,減少了處理數據量。

這不僅加快了處理速度,也意味著對算力要求的減弱,成本也就隨之降低。

普諾飛思的CEO兼創辦人Luca Verre對此表示:

這是來自自然界的完美的解決方案。

現在,普諾飛思已將這種基於事件的視覺技術整合到已有系統中,生產了世界上首個基於事件的視覺感測器。

並且隨著更新換代,感測器的性能越來越好,尺寸也越來越小了。

以事件為基礎的神經擬態視覺傳感器來了!處理速度更快,算力要求降低,手機和車都能用

更清晰的拍照,更準確的駕駛

更小,也就意味著離我們的日常生活更近。

例如手機拍攝。

如果在按下快門的幾毫秒內被拍對象恰好發生了移動,那麼圖像的一個點就會變成一條線。

這也就是我們在拍攝很多動態物體時常常產生模糊的原因。

但現在用基於事件的視覺技術,就能夠在按快門的這段時間內一直觀測這一點的移動,知道它的移動軌跡,再將這條線恢復成點。

可以看到,採用基於事件的視覺技術的右圖明顯比左圖要清晰很多。

此外,這一技術也能提供更大的動態範圍,讓每一個像素都能按照不同的曝光值來曝光。

這樣,即使在非常嚴苛的光線情景(如室內或夜景)下,拍攝圖像也不會得到很大的損失。

然後就是提供更精準的座艙監控技術。

以事件為基礎的神經擬態視覺傳感器來了!處理速度更快,算力要求降低,手機和車都能用

可以看到,這一監控能夠追蹤駕駛的目光方向。

不僅如此,連眨眼速度也能監控,這可是傳統的監控解決方案做不到的。

這就是普諾飛思聯合Xperi開發的全球首個基於神經擬態視覺系統的駕駛監控解決方案。

基於事件的進階駕駛輔助系統,增強了現有的雷達、光達和攝影鏡頭系統,能夠更快速、準確地理解周圍的環境。

透過細胞即時無菌檢測實現的下一代細胞療法,用於減少醫療製品的生產成本:

也有失明患者藉助將基因療法、光刺激醫療設備、以及普諾飛思感測器結合起來的光遺傳療法恢復了部分視力。

除此之外,工業上也有這種感測器的應用:

例如對於一些不能直接接觸的大型機械(如高壓環境)可以做非接觸性的振動檢測。

在焊接上也可以做到引導和質檢。

Prophesee

普諾飛思(Prophesee)是一個7年前在巴黎創立的公司。

prophesee官網這家科技公司致力於神經擬態視覺系統的研發,其基於事件的視覺感測器已應用在攝影、自動駕駛、工業自動化、醫療等多個領域。

公司CEO兼聯合創辦人Luca Verre擁有米蘭理工大學和巴黎中央理工學院的物理學、電子和工業工程雙碩士學位。

還曾任豐田汽車公司和Altis半導體公司的工程師。

以事件為基礎的神經擬態視覺傳感器來了!處理速度更快,算力要求降低,手機和車都能用

 

▶ 訂閱頻道+留言,送你萬元「OVO K1 智慧投影機」

使用 Facebook 留言

發表回應

謹慎發言,尊重彼此。按此展開留言規則