NVIDIA於Hot Chips 2026宣佈Groq 3 LPX創造4倍效能表現，Spectrum-X多層網路架構提升擴展彈性

NVIDIA於Hot Chips 2026大會宣佈Groq 3 LPX機櫃進入全面生產狀態，在特定條件下可帶來4倍於目前頂尖方案的效能表現，並透過Spectrum-X多層網路架構帶來更強大的連接性，以提升資料中心的Scale-Out擴展彈性。

2階段加速AI運算的加速器

NVIDIA於2026年8月23至25日在美國史丹佛大學舉辦的Hot Chips 2026大會宣佈Groq 3 LPX機櫃進入全面生產（Full Production）狀態，它能透過Groq 3 LPU（語言處理器）縮短生成Token（字詞）的延遲，進一步改善AI資料中心的整體運算效能。

延伸閱讀：
【GTC 2026】：黃仁勳於開幕演說親自發表Groq 3 LPU，為資料中心帶來10倍收益能力
【GTC 2026】NVIDIA Vera Rubin 世代 7 種晶片與 5 種機櫃打造最強 AI 工廠，還要送晶片上太空
【COMPUTEX 2026】AI Agent時代全面來臨！NVIDIA Vera Rubin平台量產，AI盈利模式確立，引領產業新局

Groq 3 LPX機櫃採用全水冷設計，由256顆LPU構成，具有總容量達128GB的晶片內部SRAM（靜態隨機存取記憶體），傳輸頻寬高達640 TB/s，能夠以大規模部署的方式構成巨型叢集，並視為單一運算單元運作，還能夠與Vera Rubin系統相互搭配，讓Rubin GPU與Groq LPU協同進行AI模型的各層運算，從而提升解碼效能與增加輸出Token，以改善整體系統的運算、記憶體存取、功耗等方面的效率。

根據NVIDIA提供的數據，在執行上下文長度為100K組Token的Gemma 4 31B模型推理式運算，Groq 3 LPX的Token輸出速度可以達到每秒3,431組，高於目前公開API服務效能參考指標的870組，效能表現相當驚人，對於提升AI資料中心的整體效能與收益有著相當大的幫助。

▲ 與前代GB300 NVL72相比，Vera Rubin世代的NVL72系統在執行特定工作負載時，消耗相同電力的條件下最高能提生30倍Token吞吐量。

▲ Groq 3 LPX機櫃現已進入全面生產狀態，其Token輸出效能最高可達目前公開API服務的4倍。

▲ NVIDIA於GTC 2026發表Groq 3 LPU，其特色為每組運算單元上內建容量達500 MB的SRAM，能夠降低AI推論的延遲。

▲ Groq 3 LPX運算托盤上具有8組Groq 3 LPU，圖為拆下散熱模組露出LPU的情況。

▲ Groq 3 LPX運算托盤採用水冷散熱方案，LPU位於圖中上方散熱模組之底部。

▲ Groq 3 LPX能與Vera Rubin世代的其他運算單元搭配，圖為具有8組處理器且拆下散熱模組的Vera CPU運算托盤。

▲ 此外也有Rubin GPU托盤與NVL 72系統適用之交換器托盤，上述托盤都採用水冷散熱方案。

強化網路擴展能力

NVIDIA將單一機櫃中透過NVLink技術互連GPU（繪圖處理器）的方式歸類為Scale-Up（縱向擴展），透過網路通訊將多組機櫃互相連接的方式歸類為Scale-Out（橫向擴展），並且提出將多個不同地點的資料中心透過廣域網路連接並合成單一運算節點的Scale-Across概念。

另一方面，業界近年也興起Scale-In概念將原本分散的多個元件的功能整合至單一元件或晶片，透過簡化硬體資源的方式來控制成本、節省空間與並降低資料中心的整體耗電量，同時簡化運作與維護的工作流程。

對此NVIDIA表示BlueField-4網路平台與DOCA API就符合Scale-In概念，能將原本需諸多元件的虛擬私有雲網路、儲存裝置網路連接、資安防護、管理、監控等功能集合至單一智慧型網路卡。

另一方面NVIDIA也提出透過Spectrum-X乙太網路交換器達成的Multi-Rail多層網路架構，能在單一系統中最高同時連接512,000組GPU，大幅超越先前以2層交換器拓樸達連接2,048組GPU的擴展限制，有利於訓練參數量更大的AI模型，以及提高AI推論運算的部署規模。

另一方面，Spectrum-X系統也提供進階最佳化路由功能，平時可以依運作狀況自動調度網路頻寬資源，以改善整體工作效率，並在單一節點失效的狀況下，維持整體網路90%的頻寬，以提高資料中心的可靠度與韌性。

▲ NVIDIA表示透過BlueField-4網路平台與DOCA API達成Scale-In功效，提供高資安防護且高可靠度的擴展網路。

▲ Spectrum-X多層網路架構提供更加可靠的網路擴展方案，單一系統最高可同時連接512,000組GPU。

關於更多Hot Chips 2026的資訊可以參考Hot Chips官方網站，筆者撰稿時入場券已售罄，有興趣參與的讀者可以註冊線上虛擬參加（需收費，美金5元起）。