不用再被 HBM 綁架！傳 OpenAI 秘密開發 KVCache 優化技術，低價 NAND 快閃記憶體也能跑大模型

過去一年來，全球記憶體市場的價格漲幅已經到了近乎失控的地步，部分規格的價格甚至飆漲了5到10倍之多。這股漲價狂潮的主要推動力，毫無疑問是來自於全球AI數據中心對龐大算力的無底洞需求。

眾所周知，AI大型語言模型在訓練與推論過程中，對記憶體的容量及資料傳輸頻寬有著極其嚴苛的要求，這迫使高效能AI晶片（如NVIDIA的GPU）必須大量搭載昂貴的高帶寬記憶體（HBM），其用量往往是傳統DDR5記憶體的2到3倍，進而引發了這一波嚴重的記憶體缺貨與暴漲潮。

來自AI本身的解答：提升快取效率以降低DRAM依賴

然而，這場由AI引發的硬體危機，最終的解決方案似乎也將由AI技術本身來提供。

業界專家指出，想要從根本上減少對高價記憶體的依賴，就必須從AI模型的底層架構進行深度優化。據悉，由OpenAI內部獨立出來的一個頂尖研發團隊，近期在記憶體效率最佳化方面已經取得了重大技術突破，這項新技術預計將在不久的將來正式對外發表，有望成為狙擊記憶體漲價狂潮的關鍵武器。

儘管該團隊尚未公布這項技術突破的具體細節，但許多深諳AI底層架構的專家與網友紛紛推測，這項技術極有可能與「KVCache（鍵值快取）」的深度優化有關。

對於熟悉DeepSeek等高效能模型的開發者來說，這個名詞絕對不陌生；近期部分新一代模型之所以能將運算成本壓到極低，關鍵就在於將KVCache的使用效率發揮到了極致。OpenAI分支團隊的技術突破很可能也是在這個領域大作文章，透過演算法的優化來大幅降低AI推論時對DRAM容量的絕對需求。

高效能NAND快閃記憶體或將接棒

除了演算法層面的優化，硬體架構的轉移也是這項技術突破的另一個亮點。

既然目前的HBM記憶體價格昂貴且嚴重缺貨，新技術的發展方向便是將部分原本必須放在DRAM中的資料，轉移到容量更大、價格卻低廉許多的NAND Flash快閃記憶體晶片上。業界在此前就已經積極研發名為HBF（High Bandwidth Flash）的高效能快閃記憶體技術。有分析認為，OpenAI極有可能藉由這次的技術突破，將這類高效能閃存正式推向實際的AI基礎設施部署。

雖然在物理特性上，快閃記憶體的讀寫延遲與寫入壽命暫時還無法與HBM記憶體相提並論，但透過特殊架構設計，其高達1638GB/s的讀寫頻寬已經能夠與HBM4標準並駕齊驅。如果這項技術最終能夠在各大AI算力中心實現大規模部署，那麼全球AI產業對昂貴DRAM的用量必定會呈現斷崖式下降。這不僅將徹底瓦解當前記憶體缺貨與漲價的動力，更可能重塑未來的AI硬體供應鏈格局。

不過，這也意味著龐大的需求將轉向NAND快閃記憶體，可能會在未來引發記憶體市場的新一波價格波動。