NVIDIA利用AI來設計和開發GPU，最新Hopper已擁有1.3萬個電路實例

在過去幾年時間裡，NVIDIA 深耕 AI 領域，他們的 GPU 不僅成為 HPC 的首選，也成為包括 AI 和深度學習生態系統在內的資料中心的首選。在最新公布的開發者博文中，NVIDIA 宣布正利用 AI 來設計和開發 GPU，其最新的 Hopper GPU 擁有將近 13000 個電路實例，而這些實例完全由 AI 創建。

在 NVIDIA Develope 上發布的新部落格中，該公司重申了其優勢以及它自己如何利用其 AI 功能來設計其迄今為止最強大的 GPU--Hopper H100。 NVIDIA GPU 主要是使用最先進的 EDA（電子設計自動化）工具設計的，但在利用 PrefixRL 方法的 AI 的幫助下，使用深度強化學習最佳化並行首碼電路，公司可以設計更小、更快、更節能的晶片，同時提供更好的性能。 

電腦晶片中的算術電路是使用邏輯門網路（如 NAND、NOR 和 XOR）和電線構成的。理想的電路應具有以下特點：

• 小：較小的區域，以便更多電路可以安裝在晶片上。
• 快速：降低延遲以提高晶片的性能。
• 消耗更少的功率：晶片的功耗更低。

NVIDIA 使用這種方法設計了近 13000 個 AI 輔助電路，與同樣快速且功能相同的 EDA 工具相比，它們的面積減少了 25%。但是 PrefixRL 被提到是一項運算要求非常高的任務，並且對於每個 GPU 的物理類比，它需要 256 個 CPU 和超過 32,000 個 GPU 小時。為了消除這個瓶頸，NVIDIA 開發了 Raptor，這是一個內部分散式強化學習平臺，它特別利用 NVIDIA 硬體進行這種工業強化學習。

Raptor 具有多項可提高可擴充性和訓練速度的功能，例如作業調度、自訂網路和 GPU 感知資料結構。在 PrefixRL 的上下文中，Raptor 使得跨 CPU、GPU 和 Spot 實例的混合分配工作成為可能。 

這個強化學習應用程式中的網路是多種多樣的，並且受益於以下幾點。 

• Raptor 在 NCCL 之間切換以進行點對點傳輸以將模型參數直接從學習器 GPU 傳輸到推理 GPU 的能力。
• Redis 用於非同步和較小的消息，例如獎勵或統計資訊。
• 一種 JIT 編譯的 RPC，用於處理大容量和低延遲的請求，例如上傳體驗資料。 

NVIDIA 得出結論，將 AI 應用於現實世界的電路設計問題可以在未來帶來更好的 GPU 設計。完整的論文在此處，您也可以在官網開發人員部落格以獲取更多資訊。

• 完整論文下載：PrefixRL: Optimization of Parallel Prefix Circuits using Deep Reinforcement Learning