NVIDIA在GTC 2024春季場推出人型機器人通用基礎模型Project GR00T，並發表對應的Jetson Thor單板電腦，進一步推動機器人技術和體現AI技術突破。

整合虛實訓練AI

NVIDIA推出的Isaac機器人平台除了具有透過CUDA加速的感知與模擬函數庫，也具有能夠在電腦中進行模擬並訓練AI模型的Isaac Sim，並在這次GTC 2024春季場發表GR00T計劃，推出人型機器人通用基礎模型Project GR00T，以及基於Thor SoC的單板電腦Jetson Thor，並於Isaac升級加入模擬的生成式AI基礎模型、工具和AI工作流程基礎架構，標進一步推動機器人技術和體現AI（Embodied AI）技術發展。

GR00T為Generalist Robot 00 Technology（通用型機器人技術）的縮寫，發音可以為Groot（音近格魯特）或直接唸出「G R Zero Zero T」英數字母，它能搭配大型語言模型（Large Language Model，LLM）理解自然語言，並透過攝影機拍攝、觀察人類行為來模仿動作，加快學習協調性、靈活性和其它技能。

GR00T能輕鬆在Isaac開發環境中建立適用於所有環境、任何機器人的基礎模型，並透過改良自Isaac Sim的輕量級Isaac Lab應用程式，透過GPU加速方式以合成資料進行模擬訓練，強化機器人AI模型的學習成效，並透過OSMO在分散式環境下協調所生成的資料、模型和軟硬體迴圈工作，以加速開發流程。

此外NVIDIA也發表了專為機器手臂設計的Isaac Manipulator基礎模型與GPU加速函數庫，提供靈活且模組化的AI功能，除了能夠提高80倍路徑規劃速度，也能提升零樣本感知的效率與吞吐量，以利自動執行更多的機器人任務。而Isaac Perceptor則提供多鏡頭、3D環視功能，能夠降低錯誤率與成本，並提高協同工作環境中的人員安全。

▲ NVIDIA創辦人暨執行長黃仁勳在GTC 2024春季場的開幕演說結尾時多台機器人登台，且進行趣味互動。（可觀看重播影片1:54:45處。附帶一提，這些機器人皆尚未用到Jetson Thor）

▲ 黃仁勳在演說中表示Omniverse與Isaac將會帶來新一波工業革命。

▲ 人型機器人通用基礎模型Project GR00T能夠接收文字、影片或是觀查人類動作進行學習。

▲ 舉例來說，開發者可以將人類示範動作影片輸入Omniverse建立的數位攣生，並透過Isaac Lab訓練機器人AI模型。

▲ 開發者也可以在Omniverse中透過數位攣生以及合成場景進行AI模型的訓練工作。

▲ 使用虛擬方式進行AI模型訓練能夠以低成本進行大規訓練，這是在真實世界幾乎不可能達成的優勢。（可參考NVIDIA介紹影片2:03處）

▲ ANYbotics機器狗在Omniverse數位攣生中透過Isaac Sim訓練機器人AI模型。

▲ANYbotics也於GTC 2024春季場的展間帶來機器狗的動態展示。但是可能是筆者人品出問題的關係，狗狗跳過箱子之後就薯掉囉……

▲ OSMO能夠協調多種資料並驅動機器人。

▲ 開發者也能夠透過NVIDIA Tokkio服務讓機器人「講話」。

專為人型機器人打造

為了提供機器人效能更高的運算單元，NVIDIA也以Thor SoC為基礎開發Jetson Thor單板電腦，它採用模組化架構設計，可以依照需強針對效能、功耗與尺寸進行最佳化，能夠執行更複雜的程式，並提供安全、自然與機器進行互動的能力。

雖然NVIDIA並沒有在這次GTC發表太多Jetson Thor的資訊，但NVIDIA自動化機械事業部門副總裁暨總經理Deepu Talla在訪談中回答筆者提問時，表示Jetson Thor的SoC與車輛使用的Drive Thor基本上會採用相同的SoC，採用Blackwell架構GPU，並可透過Transformer引擎帶來800 TFLOPS的FP8資料類型AI運算效能，具備執行GR00T等多模態生成式AI模型的能力。

另一方面它也為了針對機器人使用的需求，在單板電腦模組上提供更多I/O端子與功能，並整合功能安全處理器、高效能CPU叢集與100GB乙太網路頻寬（100GB of ethernet bandwidth），大幅簡化設計與開發工作。

附帶一提，Deepu Talla也在訪談中說明，在開幕演說登場的機器人以目前以上市的運算平台為基礎開發，尚未使用Jetson Thor。

▲ Jetson Thor是專為機器人設計的運算平台。

▲ Jetson Thor具有更多I/O端子，並能透過高速網路串聯，分散多種運算需求。

Jetson Thor預計於2025年上市，目前尚未公布詳細規格，未來我們會持續追蹤報導。

（回到GTC 2024春季場系列報導目錄）