三星推出 12-Hi 36GB HBM3E 記憶體堆棧，速度為 10 GT/s

三星在周一晚些時候宣布完成 12-Hi 36GB HBM3E 記憶體堆疊的開發，這個宣布是美光宣布大規模生產 8-Hi 24GB HBM3E 記憶體產品之後幾個小時。這些新的記憶體套件，代號為Shinebolt，與它們的前身代號為Icebolt相比，峰值頻寬和容量均提高了 50% 以上，目前是世界上最快的記憶體設備。

正如名稱所暗示，三星的 Shinebolt 12-Hi 36GB HBM3E 堆疊在有 1024-bit 介面的邏輯晶片上封裝了 12 個 24Gb 記憶體。新的 36GB HBM3E 記憶體模組具有 10 GT/s 的數據傳輸速率，因此每個堆疊的峰值頻寬為 1.28 GB/s，是業界最高的單個設備 (或模組) 記憶體頻寬。

需要注意的是，支援 HBM 的處理器開發商往往會更加謹慎，因此他們會出於功耗和保證人工智慧 (AI) 和高性能運算 (HPC) 的最終穩定性等因素，以低於其最大值的速度使用三星的 HBM3E。

延伸閱讀：美光宣佈開始量產HBM3E（高頻寬記憶體3E），將用於NVIDIA H200 AI晶片

Samsung HBM Memory Generations
	HBM3E (Shinebolt)	HBM3 (Icebolt)	HBM2E (Flashbolt)	HBM2 (Aquabolt)
Max Capacity	36GB	24 GB	16 GB	8 GB
Max Bandwidth Per Pin	9.8 Gb/s	6.4 Gb/s	3.6 Gb/s	2.0 Gb/s
Number of DRAM ICs per Stack	12	12	8	8
Effective Bus Width	1024-bit
Voltage	?	1.1 V	1.2 V	1.2 V
Bandwidth per Stack	1.225 TB/s	819.2 GB/s	460.8 GB/s	256 GB/s

為了製造其 Shinebolt 12-Hi 36GB HBM3E 記憶體堆疊，三星使用了多項先進技術。首先，36GB HBM3E 記憶體產品基於三星第四代 10nm 級 (14nm) 製程技術 (稱為 ) 製造的記憶體裝置，該技術採用極紫外光 (EUV) 光刻技術。

其次，為了確保 12-Hi HBM3E 堆疊與 8-Hi HBM3 產品具有相同的 Z 高度，三星使用了其先進的熱壓縮非導電薄膜 (TC NCF)，使其能夠在記憶體裝置之間實現業界最小的 7 微米 (7 µm) 間隙。透過縮小 DRAM 之間的間隙，三星可以提高垂直密度並減輕晶片翹曲。此外，三星還在 DRAM IC 之間使用不同尺寸的凸點；較小的凸點用於訊號傳輸區域，而較大的凸點則放置在需要散熱的區域，進而改善散熱管理。

三星估計其 12-Hi HBM3E 36GB 模組可以將人工智慧訓練的平均速度提高 34%，，並將推理服務的同時用戶數量擴大超過11.5倍。然而，該公司尚未詳細說明LLM的大小。

三星已經開始向客戶提供HBM3E 12H的樣品，並計劃在今年上半年開始大規模生產。