Aling teknolohiya ng memory ang sentro ng partnership na ito ng NVIDIA-SK hynix?

Ang HBM4, o high-bandwidth memory, ang nasa gitna ng partnership ng NVIDIA at SK hynix. Gumagana ang HBM4 sa pamamagitan ng pagpapatong-patong ng maraming DRAM memory chip nang patayo at pagkokonekta ng mga ito gamit ang napakaikli at malapad na landas, na nagpapahintulot sa data na dumaloy sa GPU nang mas mabilis kaysa sa mga memory chip na nakalatag lang nang pahiga sa circuit board — isang mahalagang bagay para sa pagsasanay at pagpapatakbo ng pinakamalalaking modelo ng AI ngayon.

Ang DDR6 ay isang susunod-na-henerasyong pamantayan ng memory na para sa pangkalahatang kompyuter, hindi para sa espesyalisadong AI accelerator, at ang GDDR7 naman ay pangunahing dinisenyo para sa graphics card na tumatalakay sa paglalarawan ng video game. Wala sa dalawa ang ginawa para sa sukdulang pangangailangan sa bandwidth ng malalaking hardware sa pagsasanay ng AI gaya ng HBM4.

Ang bandwidth ng memory, hindi ang hilaw na kapangyarihan sa pagproseso, ang madalas na totoong hadlang sa hardware ng AI ngayon, dahil walang saysay ang mga kalkulasyon ng isang chip kung hindi kayang ipasa ang data nang sapat na bilis — eksaktong problema na dinisenyong lutasin ng nakapatong-patong na memory tulad ng HBM.