FB 建議貼文

選取貼文複製成功(包含文章連結)!

NVIDIA公布Vera Rubin效能數據,同電力下效能較GB200 NVL72飆升10倍

NVIDIA公布Vera Rubin效能數據,同電力下效能較GB200 NVL72飆升10倍

ADVERTISEMENT

NVIDIA表示Vera Rubin運算平台在消耗相同電力的前提下,Token吞吐量較GB200 NVL72提升10倍,Spectrum-6網路交換器的效能也達前代系統的2倍。

極致協同設計激發效能

Vera Rubin平台從晶片到資料中心節點的設計皆將整體協同運作納入考量,整合包括Vera Rubin NVL72、Vera CPU機架、Groq 3 LPX、Spectrum-6 SPX、Vera BlueField-4 STX等7款晶片與5種機櫃托盤等為單一系統極致協同運作設計的運算單元,以追求最高電力效率與最低Token(字詞)成本。

延伸閱讀:
【COMPUTEX 2026】AI Agent時代全面來臨!NVIDIA Vera Rubin平台量產,AI盈利模式確立,引領產業新局
【GTC 2026】NVIDIA Vera Rubin 世代 7 種晶片與 5 種機櫃打造最強 AI 工廠,還要送晶片上太空
【NVIDIA GTC DC 2025】黃仁勳:當 AI 摩爾定律放緩,就用加速運算與外部擴展解決問題

這套系統以Vera CPU(處理器)為基礎,其客製化的Olympus處理器核心的單執行緒效能較競爭對手的小晶片(chiplet)提升2倍,核心互連頻寬提升3倍,並記憶體延遲降低40%,進而成為市場上AI代理運算負載效率最高的單執行緒CPU。

Vera Rubin平台採用第6代NVLink垂直擴展技術,相較於市面上其他乙太網路解決方案,處理複雜工作負載的頻寬提升超過2倍,延遲降低3倍,封包速率提升10倍。

在AI雲端運算企業CoreWeave針對DeepSeek-R1大型語言模型(Large Language Model,LLM)進行的首次效能測試中,Vera Rubin平台在消耗每百萬瓦的吞吐量為前代Grace Blackwell NVL72平台的10倍,大幅提升資料中心的整體電力效率。

NVIDIA Vera Rubin平台具有高於競爭對手的電力效率,為企業用戶帶來最低Token成本

網路也成AI效能關鍵

NVIDIA表示單純考量GPU的峰值效能已無法反映大型AI資料中心的整體效能。當資料中心在進行大規模AI模型訓練與推論運算時,皆仰賴數以千計的GPU、加速器持續交換資料,這會在運算單元之間產生大量的東西向資料流量(East-West Traffic,伺服器之間的流量),且通常會橫跨多組系統同時傳輸。

由於乙太網路最初設計的目標主要針對企業應用,以及使用者、伺服器與儲存系統之間的南北向流量(North-South Traffic,資料中與外部系統之間的流量)而設計,並非為百萬瓩級AI資料中心所需的同步與集體通訊密集型傳輸模式打造。所以NVIDIA推出專為AI運算打造的Spectrum-X乙太網路,將乙太網路轉化為高效能橫向擴展網路架構,確保每個GPU之間的通訊暢通,並能持續讀取所需資料。

Vera Rubin 平台的整體設計的Spectrum-6交換器晶片與ConnectX-9 SuperNIC網路卡共同構成新一代Spectrum-X乙太網路,其中Spectrum-6支援可插拔式光學元件與共同封裝光學元件,Spectrum-6對應的產品也支援液冷散熱方案,藉由改善散熱的方式,提高AI資料中心的網路電力效率。

Spectrum-X乙太網路平台所有元件皆針對AI運用設計,平台的軟、硬體功能會持續最佳化網路架構,在可用路徑之間智慧平衡流量、迅速繞過故障,並在網路傳輸資料未能抵達目的地時精準復原,平台也支援開放式網路作業系統,並提供多種RDMA傳輸模型選擇,能在不犧牲效能的前提下保持使用彈性。其AI網路效能最高可達通用型乙太網路的1.6倍,並能在超過10萬組GPU的部署環境中,維持最高達95%的網路效率。

Vera Rubin平台的Spectrum-X乙太網路能夠滿足資料中心內東西向資料流量的傳輸需求,帶來更高的可靠度與經濟效益。

對企業而言,Spectrum-6能讓更多GPU同步運作,提升高負載協同運算的使用率,並為長時間執行的工作提供更高韌性,在超大規模環境下更快完成運算,並創造更佳的經濟效益。

國寶大師 李文恩
作者

電腦王特約作者,專門負責硬派內容,從處理器、主機板到開發板、零組件,尖端科技都一手包辦,最近的研究計畫則包括Windows 98復活與AI圖像生成。

發表回應
謹慎發言,尊重彼此。按此展開留言規則