「HBM 之父」金正浩：未來決定 AI 效能關鍵的是記憶體，GPU 佔用的運算時間僅10%

隨著人工智慧（AI）技術的快速演進，整個科技產業的目光往往聚焦在 GPU（繪圖處理器）的運算能力上。

然而，被業界譽為「HBM 之父」的韓國科學技術院（KAIST）電機與電子工程學系教授金正浩（Joungho Kim），近期在接受韓國《東亞日報》專訪時提出了截然不同的觀點。他直言：「AI 的核心競爭力正逐漸從 GPU 轉移至記憶體，AI 的本質其實就是記憶體。」

金正浩教授的論點直指當前 AI 硬體架構的痛點，並為未來十年的半導體發展藍圖描繪了全新的「3D 摩天大樓」架構，其中包含了 HBM、HBF 以及 HBS 等多層次記憶體技術的深度整合。

記憶體之牆：為何 GPU 真正工作時間只有 10%？

在目前的 AI 運算架構中，GPU 雖然擁有強大的平行運算能力，但卻面臨著嚴重的「記憶體之牆」（Memory Wall）瓶頸。金正浩教授指出，GPU 在進行 AI 推論（Inference）時的實際利用率，遠低於理論上的巔峰數值。

他解釋，AI 系統每次輸出運算結果，都必須先從 HBM（高頻寬記憶體）中讀取龐大的數據，傳輸到 GPU 進行計算後，再將結果寫回記憶體。由於資料傳輸的速度跟不上 GPU 處理的速度，導致 GPU 大部分的時間都在「空轉」等待資料。

金正浩教授強調：「即使你部署了一百萬張 GPU，它們真正用於計算的時間，大概也只有 10% 到 30%。」

在過去的 AI 發展階段，主要以「模型訓練」為主，因此 GPU 的純運算效能是決定整體表現的核心。但著眼於現在與未來，AI 已經全面進入「推論時代」，系統需要即時處理大量的輸入並給出反應。

此時，真正能決定 AI 效能的關鍵，在於一次能吞吐多少資料、以及資料傳輸的頻寬速度。因此，記憶體的能力將直接決定整個 AI 系統的上限。

從「書架」到「圖書館」：HBF 與 HBS 的崛起

為了因應未來 AI 處理海量資料的需求，金正浩教授提出了一個多層次記憶體的架構願景。目前業界已經廣泛採用 HBM 作為專門適配 AI 的高頻寬記憶體方案，他將 HBM 比喻為 GPU 旁邊的「書桌」或「書架」，負責處理最即時的熱資料（Hot Data）。

然而，隨著 AI 逐漸邁向多模態（Multi-modal）化以及「代理式人工智慧」（Agentic AI）的興起，AI 模型將越來越需要具備「長期記憶」的能力，並需要保存、檢索海量的影片、音訊與文件等冷資料（Cold Data）。為此，金正浩預測 HBF（High Bandwidth Flash，高頻寬快閃記憶體） 將成為未來的關鍵主流。

HBF 技術旨在將 NAND 快閃記憶體像 HBM 一樣進行 3D 垂直堆疊，以提供極大容量的儲存空間。如果說 HBM 是書架，那麼 HBF 就是一座巨大的「圖書館」或地下檔案室。金正浩更大膽預測，隨著代理式 AI 的普及，10 年後市場對 HBF 的需求量，甚至可能會超越目前的 HBM。

此外，針對極致速度的需求，未來還將發展出 HBS（High Bandwidth SRAM，高頻寬靜態隨機存取記憶體）。SRAM 的讀寫速度比傳統的 DRAM 快上約 1000 倍。未來的構想是直接在整片 12 吋晶圓上鋪設 SRAM，將容量提升至大約 1600GB，使其成為終極的高速快取，專門負責最核心、最頻繁的超高速資料處理。

打造百層規模的「3D 晶片摩天大樓」

結合上述的各項記憶體技術，金正浩教授為未來的 AI 晶片架構描繪出了一個龐大的「三維建築」藍圖。未來的 AI 運算中心將不再是平面的運算單元，而是演變成類似一座 100 層樓高的 3D 複合式架構摩天大樓。

在這個架構中：

HBM扮演著「購物中心」的角色，負責高頻繁的資料交換與交易。
HBF相當於「住宅區」或「圖書館」，提供穩定且龐大的底層資料儲存與長期記憶。
HBS則是位於頂層的「高速快取」，負責最核心的即時運算支援。

各種形態的 HBM、HBF 與 HBS 透過先進封裝技術緊密堆疊組合，源源不絕地將數據以最短的路徑供給核心的 GPU 或其他邏輯運算單元。

金正浩自 2010 年起便與 SK 海力士（SK Hynix）合作研發第一代 HBM 技術，並在去年深入參與了 HBM4 至 HBM8 的長期發展路線圖規劃。他認為，這種從「GPU 中心」轉向「記憶體中心」的典範轉移，不僅是技術上的必然趨勢，也為掌握記憶體關鍵技術的半導體大廠，提供了一個絕佳的歷史機遇——讓他們有機會從標準的「跟隨者」，轉變為全球 AI 硬體架構的「制定者」。

隨著 AI 模型規模呈現指數級增長，單靠提升邏輯製程已無法滿足未來的算力需求，記憶體技術的突破與創新，將是決定下一代 AI 霸權的真正戰場。