相關文章

51a47a49060e91ec5ea7f414f4ef7d49 我們在前篇文章介紹了NVIDIA Jetson AGX Xavier的硬體規格,在接下來的文章中,筆者會聚焦於軟體應用的部分,透過範例程式進行物品分辨、特徵追蹤、動態預測、影像穩定等多種影像辨識,來展現Jetson AGX Xavier所能發揮的功能,讓讀者對這台AI電腦有更深入的瞭解。

Ubuntu桌面操作更簡易

Jetson AGX Xavier將作業系統整合在JetPack SDK中,使用者需要下載後在安裝x86-64 Ubuntu的電腦上將映像檔推送至Jetson AGX Xavier,才能完成安裝程序。相關檔案與說明請參考官方網站,這邊就不贅述。

需要注意的是Jetson AGX Xavier的預設電力模式為15W,所以筆者在測試過程會切換至效能全開的30W模式。操作方式為在終端機輸入下列指令

$sudo nvpmodel -m 0

,並透過下列指令

$sudo nvpmodel -q

檢查目前的電力模式。

由於自行開發AI功能不但需要撰寫相關程式,還需準備大量的訓練資料,以及對AI模型進行反覆訓練,才能得到比較好的效果,坦白說已經超出筆者的能力範圍所及,因此下列範例將使用NVIDIA提供的程式、資料、AI模型進行說明,還請讀者見諒。

NVIDIA Jetson AGX Xavier AI運算平台動手玩軟體篇:強大影像辨識功能可即時分析25組影片

NVIDIA Jetson AGX Xavier AI運算平台動手玩軟體篇:強大影像辨識功能可即時分析25組影片

用ImageNet進行物品分辨

首先我們先測試利用ImageNet物品分類程式,搭配以1,000種物品資料庫訓練的AI模型,並「imagenet-console」指令輸入照片檔案給程式進行辨識(「透過imagenet-camera」指令則可直接辨識攝影機拍攝的物品)。

基本上輸入橘子、相機、吉他等出現於資料庫中物品的照片,ImageNet大多能成功辨識。而筆者很壞心地故意輸入與橘子相近的枇杷,ImageNet則因資料庫中沒有對應的資訊,導致AI將枇杷判斷為橘子。(筆者註:這並非是產品的缺陷,而是因為資料庫缺乏枇杷的資料,所以AI將枇杷辨識為外觀相近的橘子。)

此外ImageNet也出現了將相機辨識為電鑽的失誤,但這個問題比較可能是由資料庫與訓練後的AI模型不夠精良所致,只要提供更完備的資料庫並加強訓練,就能夠提升辨識的精準度。

NVIDIA Jetson AGX Xavier AI運算平台動手玩軟體篇:強大影像辨識功能可即時分析25組影片

NVIDIA Jetson AGX Xavier AI運算平台動手玩軟體篇:強大影像辨識功能可即時分析25組影片

NVIDIA Jetson AGX Xavier AI運算平台動手玩軟體篇:強大影像辨識功能可即時分析25組影片

NVIDIA Jetson AGX Xavier AI運算平台動手玩軟體篇:強大影像辨識功能可即時分析25組影片

NVIDIA Jetson AGX Xavier AI運算平台動手玩軟體篇:強大影像辨識功能可即時分析25組影片

NVIDIA Jetson AGX Xavier AI運算平台動手玩軟體篇:強大影像辨識功能可即時分析25組影片

NVIDIA Jetson AGX Xavier AI運算平台動手玩軟體篇:強大影像辨識功能可即時分析25組影片

NVIDIA Jetson AGX Xavier AI運算平台動手玩軟體篇:強大影像辨識功能可即時分析25組影片

VisionWorks即時影像處理與辨識

接下來我們測試由NVIDIA提供的VisionWorks電腦視覺SDK,這是套以OpenVX為基礎衍生的電腦視覺、影像處理技術,並針對CUDA進行最佳化,能夠用於機器人、無人機、自駕車、AR等應用情境。

以特徵追蹤(Feature Tracking)為例,系統可以即時分析攝影機所拍到的影像,並標註指定的物件,此外也能搭配霍夫變換(Hough Transform)來標註直線、圓形、橢圓形等幾何形狀,能在辨識空間中的道路、標線、交通號誌等等應用發揮功效。

動態預測(Motion Estimation)則能分析移動中的人或物體,並且預測移動的趨勢,有助於讓交通工具在移動時避免碰撞。

影像穩定(Video Stabilizer)顧名思義就是以軟體演算的方式,讓晃動中的影像變得穩定,不但能提升人眼觀看的舒適度,也有助於降低自駕車等交通工具在移動時造成攝影機晃動的程度,進而提升辨識精確性。

▲特徵追蹤可以標出道路上的標線、護欄、車輛等物件。

NVIDIA Jetson AGX Xavier AI運算平台動手玩軟體篇:強大影像辨識功能可即時分析25組影片

▲霍夫變換能透過數學演算方式偵測幾何型狀。

NVIDIA Jetson AGX Xavier AI運算平台動手玩軟體篇:強大影像辨識功能可即時分析25組影片

▲動態預測可以預測人或物體的移動趨勢。

NVIDIA Jetson AGX Xavier AI運算平台動手玩軟體篇:強大影像辨識功能可即時分析25組影片

▲影像穩定能降低影像晃動的情況。

NVIDIA Jetson AGX Xavier AI運算平台動手玩軟體篇:強大影像辨識功能可即時分析25組影片

DeepStream即時分析25組Full HD影像

Jetson AGX Xavier的一大賣點能夠搭配DeepStream SDK開發影像分析軟體,在終端裝置或IoT閘道上即時進行邊緣運算,除了能夠節省以往雲端運算需要將影片上傳至伺服所需的傳輸頻寬,也有助於降低資料處理的延遲。

在下面的範例中,筆者透過25支預錄的影片模擬輸入25組攝影畫面的情境,並讓系統辨識、標註出現在畫面中的人與車輛。

▲DeepStream提供完整的硬體加速影像解碼、影像辨識工具,能用於即時影像分析。

NVIDIA Jetson AGX Xavier AI運算平台動手玩軟體篇:強大影像辨識功能可即時分析25組影片

NVIDIA Jetson AGX Xavier AI運算平台動手玩軟體篇:強大影像辨識功能可即時分析25組影片

NVIDIA Jetson AGX Xavier AI運算平台動手玩軟體篇:強大影像辨識功能可即時分析25組影片

NVIDIA Jetson AGX Xavier AI運算平台動手玩軟體篇:強大影像辨識功能可即時分析25組影片

One More Thing,遊戲效能也來測一下吧

既然Jetson AGX Xavier搭載了8核心Arm處理器與512 CUDA核心的繪圖處理器,那想必能在遊戲上發揮不錯的效能吧。

首先筆者以glmark2進行OpenGL效能測試,Jetson AGX Xavier能夠跑出6993分。

而用使glmark2-es2搭配「--off-screen」參數進行不顯示測試畫面的OpenGL ES效能測試的話,分數則為3142分。相較之下先前筆這介紹過的Odroid N2以glmark2-es2-fbdev搭配「--off-screen」參數測試的成績僅有約300分,而Odroid XU4約為250分,可見Jetson AGX Xavier的繪圖效能非常出色。

而筆者使用Dolphin模擬器測試任天堂Wii遊戲執行的效能時,發現在預設設定下FPS大約只有50幀左右,無法達到60幀全速執行的目標,這可能是因為軟體與驅動程式沒有最佳化所致,考量Jetson AGX Xavier的用途為AI運算而不是遊戲,所以這也不算是產品的缺點。

NVIDIA Jetson AGX Xavier AI運算平台動手玩軟體篇:強大影像辨識功能可即時分析25組影片

NVIDIA Jetson AGX Xavier AI運算平台動手玩軟體篇:強大影像辨識功能可即時分析25組影片

NVIDIA Jetson AGX Xavier AI運算平台動手玩軟體篇:強大影像辨識功能可即時分析25組影片

▲NVIDIA Jetson AGX Xavier 能夠透過Dolphin模擬Wii遊戲。

NVIDIA Jetson AGX Xavier AI運算平台動手玩軟體篇:強大影像辨識功能可即時分析25組影片

NVIDIA Jetson AGX Xavier是效能極強且電力效率出色的邊緣AI運算平台,能夠實際應用於機器人、無人機、自駕車、IoT閘道等情境,可以說是目前高效能AI的最佳解決方案之一。

系列文章:
NVIDIA Jetson AGX Xavier AI運算平台動手玩硬體篇:電力效率更高的特化AI電腦
NVIDIA Jetson AGX Xavier AI運算平台動手玩軟體篇:強大影像辨識功能可即時分析25組影片(本文)

使用 Facebook 留言

發表回應

謹慎發言,尊重彼此。按此展開留言規則