AMD於Advancing AI 2025發表Instinct MI350系列AI加速器，ROCm 7軟體堆疊改善效能達3.6倍

AMD於Advancing AI 2025大會上發表全新Instinct MI350系列AI加速器，並推出能夠容納128組GPU的機櫃設計，也透過新版ROCm 7軟體堆疊改善效能。

性價優於對手40%

AMD執行長蘇姿丰於Advancing AI 2025大會的演說中發表Instinct MI350系列AI加速器，並分析隨著代理式AI、國家主權AI等應用需求的成長，整個產業對於AI運算加速的需求也隨之增加。

延伸閱讀：AMD提交MLPerf 4.1測試結果，Instinct MI300X追平業界領先者

AMD發表Instinct MI350、MI355X等全新GPU（繪圖處理器），並採用UBB8通用基板（Universal Base Board）設計，方便現有Instinct MI325伺服器使用者直接升級GPU，進一步節省整體持有成本（TCO）。

另一方面AMD也推出水冷與氣冷散熱方案的機櫃設計，分別最多能夠容納128、64組GPU，滿足不同需求、機房環境的企業應用需求。

筆者將發表會重點整理於下方圖文說明。

▲ AMD執行長蘇姿丰於Advancing AI 2025大會展示Instinct MI350 GPU晶片。

▲ AMD於2025年發表Instinct MI350系列AI加速器，並預計於2026年推出Instinct MI400。

▲ Instinct MI350系列採用第4代Instinct架構與TSMC（台積電）3nm節點製程。

▲ 它新增支援FP8、FP6資料格式，峰值浮點運算效能可達20PF，搭載容量高達288 GB的HBM3e高頻寬記憶體，並採用UBB8通用基板（Universal Base Board），能夠直接由現有Instinct MI325伺服器進行升級。

▲ Instinct MI350系列具有MI350、MI355X等型號，2者硬體規格相同，但後者具有更高的1400 W TDP，因此效能也更加出色。

▲ Instinct MI350系列與競爭對手NVIDIA的GB200、B200等運算單元相比，規格與理論效能皆較為出色。

▲ Instinct MI355X運算平台由8組GPU組成，總記憶體容量達到2.3 TB，能夠提供高達161PF的FP4浮點運算效能。

▲ Instinct MI350系列運算平台提供一般氣冷散熱方案。

▲ 此外也提供水冷散熱方案，能夠滿足不同應用需求。

▲ 與自家前代MI300X（FP8）相比，Instinct MI355X在FP4資料格式下，能在Llama 3.4 405B大型語言模型帶來最高35倍的效能表現。

▲ 在其它Llama 3.4 405B大型語言模型的應用情境可以帶來2.6 ~ 4.2倍效能表現。

▲ 在不同大型語言模型也有3 ~ 3.3倍效能表現。

▲ 與GB200、B200相比，Instinct MI355X的表現也能保持領先。

▲ 將價格因素也納入考量的話，Instinct MI355X在相同成本下，產生字詞（Token）的效能較B200高出40%，具有更佳性價比。

▲ Instinct MI355X在大語言模型的預訓練、微調等工作負載效能也較MI300X高岀2.6 ~ 3.5倍不等。

▲ Instinct MI355X在相同項目也可以與GB200、B200相互競爭。

▲ AMD也提供容納128或96組GPU的水冷機櫃設計，總記憶體容量達到36 TB，並提供高達2.6EF的FP4浮點運算效能。

▲ 氣冷機櫃設計則能容納64組GPU，總記憶體容量為18 TB，FP4浮點運算效能為1.3EF。

▲ AMD預計於2026年推出採用Venice世代處理器搭配Instinct MI400系列AI加速器的Helios伺服器，2027年則預計推出Verano世代處理器搭配Instinct MI500系列AI加速器。

強化軟體環境

AMD也在於Advancing AI 2025大會發表新版ROCm 7軟體堆疊，除了能夠支援最新推出的Instinct MI350系列AI加速器，也透過軟體方式改善現有硬體的運算效能，帶來更高的附加價值。

另一方面，AMD也進一步將ROCm推廣至一般家用、客戶端裝置，讓個人使用者也能享受本地端AI運算的便利，已支援Fedora與OpenSUSE等Linux發行版本，並預計於2025下半支援Red Hat EPEL與Ubuntu。

對於Windows作業系統的使用者而言，目前可以透過WSL（Windows Subsystem for Linux）使用ROCm，近期也會於2025年第3季與7月支援PyTorch與ONNX-EP框架，進一步增加原生執行AI應用程式的便利性。

AMD也特別強調Ryzen AI Max處理器，其內建顯示晶片最高能調用高達96 GB的顯示記憶體，能在筆記型電腦或迷你工作站執行參數量達70B的大語言模型，帶來更大的使用彈性。

▲ AMD致力於提供開放的軟硬體與生態系統，強化AI應用的彈性與創新。

▲ AMD也於Advancing AI 2025大會發表ROCm 7軟體堆疊，支援Instinct MI350系列AI加速器並改善效能。

▲ ROCm 7較前版ROCm 6相比，可以透過軟體更新方式帶來平最高3.8倍效能表現。

▲ ROCm 7搭配Instinct MI355X在DeepSeek R1大語言模型的吞吐量能達到B200的1.3倍。

▲ AMD也將ROCm推廣至一般家用、客戶端裝置。

▲ ROCm新增支援Linux的OpenSUSE發行版本，並預計於2025下半支援Red Hat EPEL與Ubuntu，另外也將於2025年第3季與7月支援Windows作業系統的PyTorch與ONNX-EP框架。

▲ 搭載Ryzen AI、Ryzen AI Max等處理器的筆記型電腦具有執行參數量為24B、70B的大語言模型。

▲ 另一方面許多歐、美、中東、日本等國加都採用AMD平台建構主權AI的基礎設施。

▲AMD的YouTube官方頻到提供主題演說重播影片。

Advancing AI 2025大會於美國加州聖荷西當地時間2025年6月12日舉辦AMD Advancing AI 2025，有興趣的讀者可以前往YouTube觀看主題演說影片。