FB 建議貼文

選取貼文複製成功(包含文章連結)!

黃仁勳深度解析NVIDIA Vera Rubin系統,六大晶片打造AI怪獸

黃仁勳深度解析NVIDIA Vera Rubin系統,六大晶片打造AI怪獸

ADVERTISEMENT

NVIDIA執行長黃仁勳於CES 26拉斯維加斯消費性電子展的CEO Keynote演說中,分享對AI產業的趨勢觀點,並說明Vera Rubin系統中6種功能各異的晶片。

推理與代理正夯

黃仁勳在演說開場就提到AI運算的3個擴展法則為預訓練(Pre- Training)、後訓練(Post-Training)、推論中思考(Test-Time-Training)等環節,另一方面能夠整合運用多種工具、模型的代理式AI也大行其道,這些技術都能夠提高AI的「智力」,提供功能更強大的AI使用體驗。

延伸閱讀:
【GTC 2025】黃仁勳演說深入分析:提出「終極摩爾定律」,追求相同耗電更高效能
【GTC 2025】NVIDIA發表Blackwell Ultra GPU、GB300 NVL72伺服器,Photonic矽光子交換器節能又可靠
【COMPUTEX 2025】NVIDIA執行長黃仁勳Keynote重點整理,代理AI、物理AI、通用機器人趨勢以及NVLink Fusion半客製化AI基礎建設
【NVIDIA GTC DC 2025】黃仁勳:當 AI 摩爾定律放緩,就用加速運算與外部擴展解決問題

3個擴展法則中的推論中思考即為推理式AI技術的概念,系統能將1個「大問題」拆解為多的「小問題」,並依訓練資料中具有參考價值的資訊,或是藉由代理式AI的概念調用外部工具或是更多種類的AI模行,來一一破解這些「小問題」,,最後就能將所有的成果拼湊起來,達到解決「大問題」的目標。

另一方面,黃仁勳也提到開放模型是2025年度重要的發展趨勢之一,當開放模型與開放原始碼能夠促進全球企業和各產業的創新,他也以首個具備推理能力的DeepSeek R1開放模型為例,DeepSeek R1的出現席捲全世界,達成令人興奮的成果。

NVIDIA也推出了Clara(生醫)、Earth-2(AI模擬)、Nemotron(代理式AI)、Cosmos(物理AI)、GR00T(機器人)以及次最新發表的Alpamayo(自駕車)開源模型,促進新創公司、大型企業、研究人員、學生等單位投入AI創新,成為推動業界發展的動力。

NVIDIA執行長黃仁勳於CES 26拉斯維加斯消費性電子展舉辦CEO Keynote演說。

黃仁勳認為AI的發展趨勢包含3種擴展法則(推理式AI)、代理式AI、物理AI、AI學習自然法則、開源模型等方向。

NVIDIA已推出Clara(生醫)、Earth-2(AI模擬)、Nemotron(代理式AI)、Cosmos(物理AI)、GR00T(機器人)等開源模型,加上這次最新發表的Alpamayo(自駕車)。

NVIDIA推出的多種工具、運算框架在業界的評比皆有出色表現。

Vera Rubin NVL72滿足市場需求

黃仁勳提到GB200超級晶片於一年半前開始出貨,目前GB300超級晶片正全面量產,預定於2026年下半交付的Vera Rubin也已經開始投產,而以Vera Rubin為基礎的超級電腦則結合Vera處理器(CPU)、Rubin繪圖處理器(GPU)、ConnectX-9乙太網路晶片、BlueField-4資料處理器(DPU)、NVLink 6交換器、Specturm-X乙太網路晶片等6種不同晶片。

其中Vera CPU與Rubin GPU負責運算,其餘的晶片則分別負責在不同GPU與機櫃間進行資料交換,加上語境記憶體機櫃負責進行KV Cache的儲存,整體系統以極致共同設計(Extreme Co-Design)的概念,發揮1+1大於2的效果,大幅提升整體運作效率。

舉例來說,Vera Rubin NVL72超級電腦的電晶體數量雖然只有前代產品的1.7倍,但是最高能夠帶來5倍的效能表現。

另一方面,Vera Rubin運算托盤(Compute Tray)也大幅改良機構設計,各零件都以端子與印刷電路板相連接,整體採用一體式水冷設計,能夠省去連接纜線與水冷軟管的程序,能將安裝時間從2小時大幅縮減至5分鐘。

另1個值得注意的特點,是Vera Rubin系統的功耗為前代Grace Blackwell系統的2倍,然而2者的散熱氣流狀態大致相同,Vera Rubin系統的水冷系統能夠使用45°C的進水溫度,意味著完全不需要安裝冰水主機,能夠大幅改善資料中心的耗電狀況與PUE(Power Usage Effectiveness,電源使用效率),協助企業達成永續發展的目標。

 

Vera Rubin的運算節點由多組機櫃構成,左起為4組交換器,接著是8組Vera Rubin NVL72,然後是1組語境記憶體(Context Memory)以及1組管理平面(Management Plane)。

Vera Rubin的運算托盤內包含1組Vera CPU與2組Rubin GPU封裝(共4組Rubin GPU裸晶),內部全面採用端子搭配印刷電路與水冷管線,沒有電纜、軟水管(Hoses)、風扇。

Vera CPU具有88組Armv9.2架構的處理器核心,共176組執行緒,並具有頻寬達1.8 TB/s的 NVLink-C2C晶片互連匯流排。

每組Rubin GPU封裝內部具有2組Rubin GPU裸晶(等於把2顆Rubin GPU封裝在單一晶片),其NVFP4資料類型的AI推論效能達到前代Blackwell GPU的5倍。

黃仁勳於活動中展示Rubin GPU(左)與Vera CPU(右)。

ConnectX-9則是最新的乙太網路晶片,能夠支援800 Gbps乙太網路以及200 Gbps PAM4調變的SerDes(Serializer Deserializer,串並轉換器)。

BlueField-4則為以ConnectX-9為基礎,加上64核心Grace CPU的DPU,能在網路介面上進行資料處理。

NVLink 6交換器採用400 Gbps SerDes,能夠為每組GPU提供3.6 TB/s的資料傳輸頻寬。

Specturm-X則為採用矽光子通訊技術的乙太網路晶片,能夠提供512組頻寬達200 Gbps的網路端子。

Specturm-X採用TSMC微型環狀調變器(Micro-Ring Modulator,MRM),能夠直接在晶片封裝上產生光學通訊所需的雷射光束,並能夠搭配可拆裝式的光學連接端子,除了能夠減化整體所需的元件數量,還降低整體電力消耗,並減緩傳輸、轉換過程中的訊號衰退。

在系統等級的極致共同設計概念下,Vera Rubin NVL72的電晶體數量雖然只有前代產品的1.7倍,但是最高能夠帶來5倍的效能表現。

讀者可以在NVIDIA官方YouTube頻道觀看演說重播影片,NVIDIA也預計於2026年3月16日至19日在美國加州聖荷西舉辦GTC大會,探索物理AI、AI工廠、代理AI與推論等各行各業的突破性技術,屆時我們也會帶來專題報導。

國寶大師 李文恩
作者

電腦王特約作者,專門負責硬派內容,從處理器、主機板到開發板、零組件,尖端科技都一手包辦,最近的研究計畫則包括Windows 98復活與AI圖像生成。

使用 Facebook 留言
發表回應
謹慎發言,尊重彼此。按此展開留言規則