Intel Gaudi 3 人工智慧加速晶片測試性能比NVIDIA的 H100 快 50%

Intel Gaudi 3 人工智慧加速晶片測試性能比NVIDIA的 H100 快 50%

ADVERTISEMENT

Intel在鳳凰城舉行的 2024 Vision活動上展示了一款名為 Gaudi 3 的新型人工智慧加速晶片。 憑藉運行大型語言模型(類似 ChatGPT 提供支援的模型)時強勁的性能主張,該公司已將 Gaudi 3 定位為NVIDIA H100 的替代方案,H100 是廣受資料中心青睞的 GPU,曾因供應短缺而引發關注,不過最近缺貨的情況似乎有所好轉。 

與NVIDIA的 H100 晶片相比,Intel預計 Gaudi 3 在 OpenAI 的 GPT-3 175B 大型語言模型和 Meta 的 Llama 2 的 70 億參數版本上進行訓練時速度將提高 50%。 在推理(運行訓練好的模型以獲取輸出)方面,Intel聲稱其新型人工智慧晶片在運行 Llama 2 和 Falcon 180B(這兩者都是相當流行的開放權重模型)時的性能比 H100 快 50%。 

Intel瞄準 H100 是因為它擁有高市場佔有率,但該晶片並不是NVIDIA目前最強的人工智慧加速晶片。 H200 和 Blackwell B200 在理論上已經超越了 H100,但這些晶片都尚未上市(H200 預計將於 2024 年Q2推出 - 基本上隨時可能發表)。 

與此同時,上述 H100 的供應問題一直困擾著科技公司和人工智慧研究人員,他們不得不競爭獲得任何可以訓練 AI 模型的晶片。 這導致像微軟、Meta 和 OpenAI(據傳聞)等多家科技公司尋求自己的人工智慧加速器晶片設計,儘管這些客製晶片通常由Intel或台積電製造。 Google擁有自己系列的張量處理器單元 (TPU),自 2015 年以來一直供其內部使用。 

鑑於這些問題,如果Intel能設定理想的價格(Intel尚未提供,但據報導 H100 的價格在 30,000 美元到 40,000 美元左右)並且能維持足夠的產量,那麼 Gaudi 3 可能會成為 H100 的潛在替代方案。 AMD 也製造一系列具有競爭力的 AI 晶片,例如 AMD Instinct MI300 系列,售價約為 10,000 美元至 15,000 美元。 

Intel 發表的一份 Gaudi 3 AI 加速器規格說明

Gaudi 3 性能

Intel表示,新晶片在其前一代 Gaudi 2 的架構基礎上進行了擴充,透過高頻寬連接連接了兩個相同的矽片。每個矽片都包含 48 MB的中央快取記憶體,周圍環繞著四個矩陣乘法引擎和 32 個可程式化的張量處理器核心,使總核心數達到 64 個。

國寶大師 李文恩
作者

電腦王特約作者,專門負責硬派內容,從處理器、主機板到開發板、零組件,尖端科技都一手包辦,最近的研究計畫則包括Windows 98復活與AI圖像生成。

使用 Facebook 留言
發表回應
謹慎發言,尊重彼此。按此展開留言規則