GTC 24:NVIDIA發表GR00T計劃與Jetson Thor單板電腦,推動人型機器人發展

GTC 24:NVIDIA發表GR00T計劃與Jetson Thor單板電腦,推動人型機器人發展

ADVERTISEMENT

NVIDIA在GTC 2024春季場推出人型機器人通用基礎模型Project GR00T,並發表對應的Jetson Thor單板電腦,進一步推動機器人技術和體現AI技術突破。

整合虛實訓練AI

NVIDIA推出的Isaac機器人平台除了具有透過CUDA加速的感知與模擬函數庫,也具有能夠在電腦中進行模擬並訓練AI模型的Isaac Sim,並在這次GTC 2024春季場發表GR00T計劃,推出人型機器人通用基礎模型Project GR00T,以及基於Thor SoC的單板電腦Jetson Thor,並於Isaac升級加入模擬的生成式AI基礎模型、工具和AI工作流程基礎架構,標進一步推動機器人技術和體現AI(Embodied AI)技術發展。

GR00T為Generalist Robot 00 Technology(通用型機器人技術)的縮寫,發音可以為Groot(音近格魯特)或直接唸出「G R Zero Zero T」英數字母,它能搭配大型語言模型(Large Language Model,LLM)理解自然語言,並透過攝影機拍攝、觀察人類行為來模仿動作,加快學習協調性、靈活性和其它技能。

GR00T能輕鬆在Isaac開發環境中建立適用於所有環境、任何機器人的基礎模型,並透過改良自Isaac Sim的輕量級Isaac Lab應用程式,透過GPU加速方式以合成資料進行模擬訓練,強化機器人AI模型的學習成效,並透過OSMO在分散式環境下協調所生成的資料、模型和軟硬體迴圈工作,以加速開發流程。

此外NVIDIA也發表了專為機器手臂設計的Isaac Manipulator基礎模型與GPU加速函數庫,提供靈活且模組化的AI功能,除了能夠提高80倍路徑規劃速度,也能提升零樣本感知的效率與吞吐量,以利自動執行更多的機器人任務。而Isaac Perceptor則提供多鏡頭、3D環視功能,能夠降低錯誤率與成本,並提高協同工作環境中的人員安全。

NVIDIA創辦人暨執行長黃仁勳在GTC 2024春季場的開幕演說結尾時多台機器人登台,且進行趣味互動。(可觀看重播影片1:54:45處。附帶一提,這些機器人皆尚未用到Jetson Thor)

黃仁勳在演說中表示Omniverse與Isaac將會帶來新一波工業革命。

人型機器人通用基礎模型Project GR00T能夠接收文字、影片或是觀查人類動作進行學習。

舉例來說,開發者可以將人類示範動作影片輸入Omniverse建立的數位攣生,並透過Isaac Lab訓練機器人AI模型。

開發者也可以在Omniverse中透過數位攣生以及合成場景進行AI模型的訓練工作。

使用虛擬方式進行AI模型訓練能夠以低成本進行大規訓練,這是在真實世界幾乎不可能達成的優勢。(可參考NVIDIA介紹影片2:03處)

ANYbotics機器狗在Omniverse數位攣生中透過Isaac Sim訓練機器人AI模型。

▲ANYbotics也於GTC 2024春季場的展間帶來機器狗的動態展示。但是可能是筆者人品出問題的關係,狗狗跳過箱子之後就薯掉囉……

OSMO能夠協調多種資料並驅動機器人。

開發者也能夠透過NVIDIA Tokkio服務讓機器人「講話」。

專為人型機器人打造

為了提供機器人效能更高的運算單元,NVIDIA也以Thor SoC為基礎開發Jetson Thor單板電腦,它採用模組化架構設計,可以依照需強針對效能、功耗與尺寸進行最佳化,能夠執行更複雜的程式,並提供安全、自然與機器進行互動的能力。

雖然NVIDIA並沒有在這次GTC發表太多Jetson Thor的資訊,但NVIDIA自動化機械事業部門副總裁暨總經理Deepu Talla在訪談中回答筆者提問時,表示Jetson Thor的SoC與車輛使用的Drive Thor基本上會採用相同的SoC,採用Blackwell架構GPU,並可透過Transformer引擎帶來800 TFLOPS的FP8資料類型AI運算效能,具備執行GR00T等多模態生成式AI模型的能力。

另一方面它也為了針對機器人使用的需求,在單板電腦模組上提供更多I/O端子與功能,並整合功能安全處理器、高效能CPU叢集與100GB乙太網路頻寬(100GB of ethernet bandwidth),大幅簡化設計與開發工作。

附帶一提,Deepu Talla也在訪談中說明,在開幕演說登場的機器人以目前以上市的運算平台為基礎開發,尚未使用Jetson Thor。

Jetson Thor是專為機器人設計的運算平台。

Jetson Thor具有更多I/O端子,並能透過高速網路串聯,分散多種運算需求。

Jetson Thor預計於2025年上市,目前尚未公布詳細規格,未來我們會持續追蹤報導。

回到GTC 2024春季場系列報導目錄

國寶大師 李文恩
作者

電腦王特約作者,專門負責硬派內容,從處理器、主機板到開發板、零組件,尖端科技都一手包辦,最近的研究計畫則包括Windows 98復活與AI圖像生成。

使用 Facebook 留言
發表回應
謹慎發言,尊重彼此。按此展開留言規則