2023.11.14 14:45

NVIDIA推出「最強AI晶片」H200,性能比H100提升60%至90%將成為下一代最賺錢產品

ADVERTISEMENT

NVIDIA發表了新一代人工智慧晶片H200,這款晶片旨在針對各種AI模型進行訓練和部署。H200晶片是目前用於訓練最先進的大型語言模型H100晶片的升級版,配備了141GB的記憶體,特別擅長執行「推理」任務。在執行推理或生成問題答案時,H200的性能比H100提升了60%至90%。

根據NVIDIA官網的消息,基於NVIDIA的「Hopper」架構,H200是該公司首款採用HBM3e記憶體的晶片。這種記憶體速度更快,容量更大,使其更適用於大型語言模型。

NVIDIA表示,H200使用HBM3e記憶體能夠以每秒4.8TB的速度提供141GB的容量,相比於A100,其容量幾乎增加一倍,頻寬提高了2.4倍。

預計H200將於2024年第二季度上市,屆時將與AMD的MI300X GPU展開競爭。與H200相似,AMD的新晶片相比前代產品擁有更多記憶體,這對運行大型語言模型的推理計算有幫助。

ADVERTISEMENT

NVIDIA還表示,H200將與H100相容,這意味著那些已經在使用H100進行訓練的AI公司無需更改他們的伺服器系統或軟體即可適應H200。

NVIDIA副總裁Ian Buck表示:「為了訓練生成式AI和高性能計算應用,必須使用高性能GPU。有了H200,行業領先的AI超級計算平台可以更快地解決一些世界上最重要的挑戰。」

ADVERTISEMENT

NVIDIA的加速計算首席產品經理Dion Harris表示:「觀察市場上的動態,可以看到大型模型的尺寸正在迅速擴大。這是我們繼續引領最新、最偉大技術的又一例證。」

據美國金融機構Raymond James透露,H100晶片的成本僅為3320美元,但NVIDIA對其客戶的價格卻高達2.5萬至4萬美元。這使得H100的利潤率可能高達1000%,成為有史以來最賺錢的晶片之一。

在訓練大型語言模型時,通常需要數千個H100叢集協同工作,因此科技巨頭、初創公司和政府機構都在爭奪NVIDIA有限的晶片供應。

ADVERTISEMENT

由於對其產品的需求看似無窮無盡,NVIDIA今年的銷售額大幅增長,股價上漲了230%,市值突破了1.2兆美元大關。截至週一收盤,該股收漲0.59%,報486.2美元。

 

ADVERTISEMENT