AI 算力不再只靠 GPU？NVIDIA 推出異構推理技術，讓不同家晶片也能一起跑模型！

面對AMD、Intel 以及各大雲端巨頭自研 AI 晶片的夾擊，繪圖晶片龍頭 NVIDIA（輝達）正在調整其一貫的市場打法。

The Information 披露，NVIDIA 執行長黃仁勳正主動向競品晶片廠商釋出合作善意，宣布將與 AI 晶片初創公司 d-Matrix 進行硬體底層融合，共同打造一套「跨廠商異構推理」系統，這標誌著單一 GPU 壟斷大模型算力的時代正走向終結。

聯合調試控制軟體，異構推理架構實現多晶片分工協同

這起被業內稱為「強強聯手」的合作項目，是 NVIDIA 自去年以來推廣「異構推理（Disaggregated Inference）」架構的具體落地。在此之前，另一家 AI 晶片廠商 SambaNova 也已宣布與 NVIDIA 完成軟硬體打通，讓自家的 AI 晶片能與 NVIDIA GPU 協同執行大語言模型。

d-Matrix 首席執行長 Sid Sheth 指出，通用以太網技術讓不同廠商的晶片在物理連線上早已不成問題，但要在運行千億參數大模型時實現零延遲的高效協同，需要底層控制軟體的深度適配。在這次合作中，NVIDIA 的系統工程師將與 d-Matrix 團隊聯合調試 GPU 控制軟體，將不同的運算負載分攤到最適合的晶片上。

在具體運作的「異構推理」架構中，兩者採取了極為巧妙的分工：

NVIDIA GPU：負責處理大模型推理中算力消耗最高、最考驗矩陣乘法的「預填充（Prefill）」階段。
d-Matrix 晶片：主打其獨創的「投機解碼（Speculative Decoding）」技術，運行小型草稿模型預判輸出詞元（Token），由 NVIDIA GPU 進行校驗採信，藉此大幅壓縮推理延遲、提升響應速度，並承接後續的「解碼（Decode）」生成任務。

NVLink 高速互聯接口開放，多元晶片生態化解反壟斷調查

黃仁勳策略調整的背後，隱藏著多重的商業與監管考量。首先是化解反壟斷危機。長期以來，許多客戶投訴 NVIDIA 利用其在 GPU 市場的絕對壟斷地位，脅迫採購商不得採購其他初創廠商的晶片。美國司法部已對此展開了兩年的反壟斷調查，NVIDIA 主動向競品拋出合作橄欖枝，能有效證明其正致力於打造開放的「異構算力生態」。

其次是擴大網路互聯硬體的營收。NVIDIA 高性能計算高級總監 Dion Harris 直言，NVIDIA 絕不只是一家單純的晶片公司，而是綜合性 AI 基礎設施服務商。NVIDIA 自去年起宣布開放其獨家的 NVLink 高速互聯接口，允許第三方晶片與其搭配組網。這意味著，即便未來客戶減少了對 NVIDIA GPU 的單一採購，NVIDIA 依然能靠賣出更多的 NVLink 交換器與光纖互聯硬體賺取豐厚利潤，「有產品可賣，總好過一無所獲」。

雲端廠商 Parasail 率先採購，多晶片協同成為行業新常態

成立於 2019 年、投後估值達 20 億美元的 d-Matrix，其晶片核心優勢在於將計算單元與 SRAM 記憶體集成在單顆晶片內（存內計算），且未採用目前全球缺貨的高頻寬記憶體（HBM），產能不受限。台積電已於今年夏季正式啟動 d-Matrix 晶片的量產，年底月產能將達數千顆。

加州的 AI 雲端服務商 Parasail 將成為這套 NVIDIA-d-Matrix 混合伺服器整機的首位採購客戶，並計劃於下半年向租戶開放服務。這套系統能讓租戶在混用不同架構晶片的同時，享有接近全 NVIDIA 陣容的效能，大幅降低了算力租賃的資金門檻。隨著微軟、Meta 等巨頭都在自研 AI 晶片，單一 GPU 壟斷算力的時代正加速翻篇，異構多晶片協同已成為大模型推理的新常態。