NVIDIA於GTC 2022發表全新Hopper GPU架構，還可與Grace合體變身超級晶片

NVIDIA在GTC 2022技術大會中正式發表次世代GPU架構Hopper，並提出多種不同組合產品，大幅提高加速運算的應用彈性。

Hopper架構正式登場

在去年GTC 2021春季場中，NVIDIA發表了專為AI超級運算設計的Grace處理器，它採用Arm處理器架構，支援LPDDR5x記憶體子系統，並透過第4代NVLink匯流排技術，提供處理器與GPU（繪圖處理器）之間高達900 GB/s的資料傳輸速度，與當今技術領先的伺服器相比，聚集頻寬增益達30倍。Grace也將採用LPDDR5x記憶體子系統，與目前的DDR4記憶體相比，能夠提供2倍的頻寬以及10倍的能源效率。

Grace的名稱來自美國程式設計先驅葛麗絲‧穆雷‧霍普（Grace Murray Hopper），而這次發表的GPU架構Hopper，也是以她為名。

H100為首款採用Hopper架構的GPU，它採用台積電4N節點製程，具有800億個電晶體搭載HBM3高頻寬記憶體並支援PCIe Gen5匯流排與高度可擴展的NVIDIA NVLink互連技術，是世界上最先進且最強大的加速運算單元。

全新的Transformer Engine是有史以來最重要深度學習模型發明之一，它能夠在不犧牲準確性的前提下提高6倍運算速度，而全新的DPX指令加速動態規劃（Dynamic Programming）可以在路線規劃、基因組學等領域帶來40倍於處理器或7倍於前代GPU的效能，為人工智慧應用注入強大動能。

此外H100也支援機密運算（Confidential Computing），以及NVIDIA第二代多執行個體GPU（Multi-Instance GPU，MIG）， 支援完整的每執行個體隔離和每執行個體 IO 虛擬化功能，並可支援託管7個雲端租用戶， 能提高整體資安可靠度，更加適合醫療保健和金融服務、公有雲、聯邦學習（Federated Learning）等需要高安全性的應用。

▲ H100為首款採用Hopper架構的GPU，能在不犧牲準確性的前提下提高6倍運算速度。

▲ H100將成為世界上最先進的晶片，並支援Transformer Engine、DPX指令加速動態規劃等重要功能。

▲ Transformer Engine能自動依資料類型進行最佳化， 在不犧牲準確性的前提下提高6倍運算速度 。

▲ 機密運算適合醫療保健和金融服務、公有雲、聯邦學習等需要高安全性的應用。

▲ NVIDIA第二代多執行個體GPU能將1個實體GPU切割成7個執行個體，兼顧安全性與資源分配彈性。

▲ 與前代A100相比，H100在FP8資料類型運算中有6備效能表現。

▲ H100在多種應用情境的效能表現也大幅領先A100。

推出多種組合產品

Hopper架構的H100 GPU將可與Grace處理器共同組成Grace Hopper超級晶片，NVIDIA也將推出整合2顆Grace處理器的Grace CPU超級晶片，裸晶（Die）之間採用NVLink-C2C互連技術，以滿足高速、低延遲、晶片間資料傳輸的需求，並將推出多種不同的組態選項，為次世代伺服器帶來更有彈性的建構選擇。

根據NVIDIA提供的資料，Grace CPU超級晶片具有144個Arm架構處理器核心，SPECrate 2017_int_base效能測試成績推測將高達740分，是DGX A100電腦中雙處理器效能的1.5倍以上。

焦點回到H100 GPU，它採用台積電CoWoS 2.5D封裝技術，將GPU與HBM3記憶體等元件封裝在一起，並將推出SXM模組版本。以DGX H100電腦為例，它將8個H100 SXM模組安裝至HGX主機板，並透過4個NVLink交換器晶片連線，將8個H100變成一個巨型GPU，提供32 petaFLOP人工智慧效能，將成為人工智慧工廠的最小的組成單位。

需要更大量運算效能的使用者，可以透過這次推出的NVIDIA NVLink交換器系統，使用NVLink連接32台DGX H100，將其擴展為單一的大型32節點256 GPU 的DGX SuperPOD。

此外NVIDIA宣布正在打造由18台DGX SuperPOD（576台DGX H100、4608組H100 GPU）組成的Eos超級電腦其傳統的科學運算（FP64資料類型）的效能為275 petaFLOPS，比搭載A100 GPU、目前美國最快的科學電腦Summit快了1.4 倍。而在在人工智慧方面（FP8資料類型），Eos的運算效能為18.4 Exaflops，比目前全世界最快的超級電腦Fugaku（富岳）高出4 倍。待它完成部署後，有望成為世界上最快的人工智慧電腦，NVIDIA創辦人兼執行長黃仁勳在GTC 22春季展開幕演說中表示，對Eos充滿信心，而 Eos 將在數個月內上線。

此外NVIDIA也會推出PCIe介面卡型式的H100運算卡，而這次還發表了具有獨立網路介面的H100 CNX運算卡。它最大的特色就是整合Connectx-7網路晶片，可以略過節點上的處理器，直接存取外部節點的資料，不但有助於提升資料吞吐量，也能降低處理器使用率，對現有伺服器的升級很有吸引力。

▲ Grace Hopper超級晶片將整合Grace處理器與Hopper GPU，裸晶之間透過NVLink-C2C互相連接。

▲ Grace CPU超級晶片則是整合2顆Grace處理器，總共具有144個Arm架構處理器核心。

▲ Grace超級晶片的高畫質渲染圖。

▲ Grace Hopper超級晶片具有高度組態彈性，使用者可以選擇「雙Grace CPU超級晶片」、「單一 Grace + 單一Hopper超級晶片」、「單一 Grace + 雙 Hopper 超級晶片」、「雙Grace + 雙Hopper系統」、「雙 Grace + 4 Hopper系統」、「雙Grace + 8 Hopper系統」。

▲ H100 GPU將推出SXM模組版本，DGX H100電腦則由8個H100 SXM模組構成。

▲ NVIDIA也將推出搭載H100的DGX電腦與SuperPOD超級電腦。

▲ H100將會有多種不同尺度的對應產品，以滿足各種應用情境不同的需求。

▲ NVIDIA正在打造由576台DGX H100組成的EOS超級電腦，待它完成部署後將成為世界上最先進的電腦。

▲ 各節點將由新推出的NVLink交換器傳輸資料，大幅提升存取效能。

▲ H100 CNX可以視為具有獨立網路介面的H100加速運算單元。

▲ H100 CNX能夠略過中央處理器，直接透過，並由卡上的網路介面與PCIe Gen 5匯流排存取資料。

目前GTC22正在進行中，有興趣參與的讀者可以參考《NVIDIA將於3月21日至24日舉辦GTC 2022技術大會，即日起免費報名》一文，免費註冊並參加線上會議以及超過900場主題演說。