Jetson Xavier NX開發套件動手玩硬體篇:同時執行4個容器榨乾AI電腦 筆者在前篇文章中簡單介紹了Jetson Xavier NX開發套件,以及NVIDIA帶來的全新原生雲端技術,在這篇文章中我們將針對Jetson Xavier NX開發套件做更深入的介紹,並且執行4款容器化的AI應用程式,以及對Jetson Xavier NX進行效能測試。

ADVERTISEMENT

👉 歡迎加入T客邦telegram  ( https://t.me/TechbangNEWS )

外型接近但可擴充M.2固態硬碟

基本上Jetson Xavier NX開發套件就是把Jetson Xavier NX運算模組裝在I/O擴充底座上,因此硬體規格大至相同,SoC方面具有6個Arm v8.2處理器核心,在15W功耗設定下最高時脈可達1.9GHz,次外還有384個CUDA核心、最高時脈為1.1GHz的Volta架構繪圖處理器、48個Tensor張量處理器核心與2個深度學習加速器(Deep Learning Accelerator)引擎,並搭載8GB LPDDR4x記憶體,在15W功耗搭配INT8運算模式下可以帶來21TOPs的AI運算效能。2者最大的不同,在於運算模組內建16GB eMMC儲存媒體,開發套件則無,需自行安裝microSD卡。

在影像處理能力部分,Jetson Xavier NX開發套件具有2組MIPI CSI-2 DPHY攝影機端子,具有最高2組4K、30p的H.265、H.264影像編碼能力,以及最高2組4K、60p的H.265或2組4K、30p的H.264影像編碼能力。

Jetson Xavier NX運算模組的優點之一就是具有豐富的I/O端子,提供4組USB 3.1,以及USB 2.0 Micro-B、GbE乙太網路、支援4K影像輸出的HDMI與DisplayPort端子各1組,而考量到Jetson Xavier NX較強的運算效能與更廣的應用範圍,因此搭載了M.2 Key E介面的Wi-Fi無線網路、藍牙通訊模組,提供更多元的連線能力,使用者也可以透過M.2 Key M插槽安裝NVMe傳輸模式的固態硬碟,彈性擴充儲存容量。

Jetson Xavier NX與Jetson Nano等2款運算模組的尺寸相當接近,而2者的開發套件的設計也十分接近,但因為Jetson Xavier NX的最大功耗為15W,比Jetson Nano的10W多出50%,因此使用具有風扇的主動式散熱器強化散熱能力。

Jetson Xavier NX的詳細規格,可以看到最佳效率(10W)與最大效能(15W)的電力模式差異。

Jetson Xavier NX開發套件為運算模組加上I/O擴充底座的組合。

開發套件提供豐富的I/O端子,方便開發者連接各種周邊裝置。

與Jetson Nano開發套件的尺寸相近,但包裝盒尺寸卻因Jetson Xavier NX附上電源供應器而相差甚遠。

兩款開發套件本體的設計相當接近,圖左為Jetson Nano,右為Jetson Xavier NX。

GPIO HAT的設計也相同,方便延用現有周邊裝置。

Jetson Xavier NX具有2組攝影機端子,Jetson Nano只有1組。

Jetson Xavier NX機身底部具有M.2 Key E、M.2 Key M插槽各1,Jetson Nano則空空如也。

容器讓軟體部署、執行更方便

受益於更強的效能與更大的記憶體容量,讓Jetson Xavier NX能夠同時執行多個容器化的AI應用程式、服務。而使用容器最大的好處就是能夠大幅簡化軟體部署的程序,以安裝NVIDIA官方提供的範例為例,透過Docker的「docker pull」指令就能快速下載容器並直接執行,過程能省下許多安裝與設定的時間。

這些範例將應用情境設定為零售業、醫療院所、倉庫的服務機器人,而機器人需要具有辨識顧客、偵測顧客在和誰講話、知道對話過程中顧客所指的位置、理解顧客的語言、提供有用的答案等等。因此Jetson Xavier NX需要透過程式進行人物辨識、目光辨識、姿勢辨識、語音辨識、自然語言處理等工作,因此NVIDIA在範例中透過下列4個容器完成這些功能。

範例程式使用的容器
DeepStream容器:透過Resnet-18模型辨識人物
Pose容器:透過Resnet-18模型辨識姿勢
Gaze容器:透過MTCNN模型偵測臉部區域、NVIDIA Facial Landmarks模型偵測臉部特徵、NVIDIA Gaze模型偵測左/右眼與全臉
Voice容器:透過Quartznet-15X5模型辨識語音、BERT模型處理自然語言
(皆轉換為TensorRT型式執行)

在下面實測影片中,可以看到畫面左上是人物辨識,左下為姿勢辨識,右上為自然語言處理,右下為目光辨識,雖然範例並非透過攝影機即時擷取影像,而是透過預錄影片取代,但仍可看到Jetson Xavier NX能在15W的功耗下完成這些工作,效能與電力效率相當出色。

Jetson Xavier NX能透過容器同時執行多個AI應用程式與服務。

▲在實際操作錄影中可以看到Jetson Xavier NX流暢完成這些AI運算。

Jetson家族同台測試

在效能實測的部分,筆者特別準備了旗艦級的Jetson AGX Xavier與入門級的Jetson Nano等3款開發套件做為對照組,分別看看這些價位、功耗不同等級的AI電腦在效能的表現上有什麼差異。

在AI推論效能測試方面,筆者採用NVIDIA提供的Jetson Benchmarks工具進行測試,它會測試執行Inception V4、VGG-19、Super Resolution、Unet、OpenPose、YoloV3-Tiny、ResNet-50、SSD Mobilenet-v1等8種影像辨識、處理演算法的效能表現。

另一方面,筆者也會在Jetson AGX Xavier與Jetson Xavier NX上進行BERT自然語言處理的效能測試,其中Base項目為使用基準模型(Base Model),而Large則為使用大型模型(Large Model),Jetson Nano則因記憶體容量與效能限制無法執行而略過。

筆者特別準備了Jetson Xavier NX以及Jetson AGX Xavier、Jetson Nano進行效能測試對比。

Jetson家族成員的效能對比,其中Jetson Xavier NX的任務就是取代Jetson TX2的市場定位。

在大部分的AI推論中,Jetson Xavier NX雖然只有Jetson AGX Xavier一半左右的效能,但可大幅領先Jetson Nano。

Jetson Xavier NX領先Jetson Nano的幅度約在10至20倍之間不等,差距相當大。

在BERT效能測試中,Jetson AGX Xavier效能約略比Jetson Xavier NX多出1倍。

由於邊緣運算裝置與AI裝置依使用情境不同,尺寸、耗電量、工作溫度、防水等需求都有著相當大的差異,這時候開發者就可以選擇階級定位不同的Jetson來完成任務,並在「One Software One Architecture」(單一軟體、單一架構)的概念下,讓相同的軟體得以在效能與尺寸不同的Jetson運算模組上運作,不但降低了軟體的開發與維護成本,也發揮更大的使用彈性。

這次測試的3款Jetson開發套件各別有不同的定位,入門級的Jetson Nano以美金99元(約合新台幣2,990元)的價格殺入市場,並支援5W、10W等功耗設定,適合輕量裝置應用,美金399元(約合新台幣12,040元)的Jetson Xavier NX站穩中階市場,能在10W、15W的功耗設定下帶來可關的效能提升,目前市價落在美金699元(約合新台幣21,090元)Jetson AGX Xavier具有10W、15W、30W等功耗設定,雖然尺寸大了許多,但能滿足更高階的運算需求,開發者可以在初期階段以開發套件快速打造試作品,並在正式量產時轉移至運算模組。

最新推出的Jetson Xavier NX的定位為取代Jetson TX2,並填補Jetson Nano、Jetson AGX Xavier等2者間尺寸與效能的空缺,除了能滿足目前許多AI應用聚焦的影像辨識,還能應用於更複雜自然語言處理、語音辨識等,賦予邊緣裝置更多可能性。 

 

系列文章:
Jetson Xavier NX開發套件動手玩軟體篇:原生雲端與容器功能引爆應用潛力
Jetson Xavier NX開發套件動手玩硬體篇:同時執行4個容器榨乾AI電腦(本文)

👉 歡迎加入T客邦telegram  ( https://t.me/TechbangNEWS )

使用 Facebook 留言

發表回應

謹慎發言,尊重彼此。按此展開留言規則