Intel AI訓練晶片 Habana Gaudi2測試結果顯示，效能為NVIDIA A100的2倍

MLCommons 針對 60 億個參數的大型語言 GPT-J，以及電腦視覺和自然語言處理模型發表MLPerf Inference v3.1 效能基準測試結果。Intel 送交 Habana Gaudi2 加速器、第 4 代Intel Xeon可擴充處理器和 Intel Xeon CPU Max系列的測試結果。這些結果不僅顯示 Intel 在 AI 推論方面可提供具競爭力的效能表現，更強化 Intel 的承諾－在客戶端、邊緣、網路、雲端等一連串 AI 工作負載中，讓 AI 更容易大規模地落實應用。 

在今年 6 月更新的 MLCommons AI訓練和Hugging Face效能基準測試，驗證了 Gaudi2 在最先進視覺語言模型方面的效能優勢；而 9 月 11 日的結果近一步強化 Intel 是滿足 AI 運算需求，能夠替代同類型競品的可行方案。

Habana Gaudi2 結果：

Habana Gaudi2 的 GPT-J 推論效能結果，為其極具競爭力的效能提供有力的驗證。

• Gaudi2 在 GPT-J-99 和 GPT-J-99.9 的伺服器查詢（query）和離線樣本推論效能，分別為每秒 78.58 個查詢和每秒 84.08 個樣本。
• Gaudi2 的效能是 NVIDIA A100 的 2.4 倍（伺服器）和 2 倍（離線）。
• Gaudi2 的送交結果使用 FP8，在此新資料類型的準確度高達 99.9％。

Gaudi2 大約每 6 週至 8 週釋出一次軟體更新，Intel 預期在 MLPerf 基準測試中繼續提升效能並擴大模型覆蓋範圍。

Intel Xeon結果：

Intel 送交第 4 代 Intel Xeon 可擴充處理器的結果，其中包含 GPT-J 在內的所有 7 項推論基準測試。這些結果展現出通用 AI 工作負載的優異效能，包含視覺、語言處理、語音和音訊翻譯模型，以及規模更大的 DLRM v2 推薦和 ChatGPT-J 模型。

• 使用最流行的 AI 框架與函式庫建立並部署通用 AI 工作負載，第 4 代 Intel Xeon 可擴充處理器為其理想之選。1 篇新聞文章約 1,000 字至 1,500 字的 GPT-J 100 字摘要工作，第 4 代 Intel Xeon 處理器在離線模式下每秒可總結 2 個段落，即時伺服器模式下每秒總結 1 個段落。
• Intel 首次送交 Intel Xeon CPU Max 系列的 MLPerf 結果，該系列可提供高達 64GB 的高頻寬記憶體。在 GPT-J 方面，它是唯一能夠達成 99.9％ 準確度的 CPU，這對於需要最高精準度的應用而言十分重要。
• Intel 和 OEM 客戶合作，送交他們自己的結果，進一步展現搭載 Intel Xeon 處理器通用伺服器的 AI 效能可擴充性和廣泛可用性，這些伺服器能夠滿足客戶的服務等級協議（SLA）。

MLPerf 被普遍認為是 AI 效能方面最具聲譽的基準測試，能夠進行公平、可重現的效能比較。Intel 預計將為下次的 MLPerf 基準測試送交新的 AI 訓練結果。效能持續不斷的更新，代表 Intel 致力於支援客戶，並針對每個AI節點提出解決方案－從低成本的AI處理器，再到網路、雲端和企業使用者所需的最高效能AI硬體加速器和GPU。