這項NVIDIA與SK海力士合作案的核心記憶體技術是什麼?

HBM4,也就是高頻寬記憶體,是NVIDIA與SK海力士這次合作的核心。HBM4的運作方式是把多層DRAM記憶體晶片垂直堆疊起來,並用極短、極寬的通道把它們連接起來,讓資料傳輸到GPU的速度遠比平放在電路板上的記憶體晶片快得多,這對訓練與運行當今最大型的AI模型來說極為關鍵。

DDR6是針對一般電腦設計的下一代記憶體標準,並非為專門的AI加速器打造;GDDR7則主要是為處理電玩畫面演算的顯示卡而設計。兩者都不像HBM4那樣,是專為大型AI訓練硬體的極高頻寬需求量身打造的。

如今在AI硬體領域,真正的瓶頸往往不是運算能力本身,而是記憶體頻寬,因為就算晶片運算能力再強,如果資料送進去的速度跟不上,運算能力也派不上用場,而堆疊式記憶體如HBM,正是為了解決這個問題而設計的。