Welke geheugentechnologie staat centraal in dit NVIDIA-SK hynix-partnerschap?

HBM4, oftewel high-bandwidth memory, staat centraal in het partnerschap tussen NVIDIA en SK hynix. HBM4 werkt door meerdere DRAM-geheugenchips verticaal te stapelen en met extreem korte, brede paden te verbinden, waardoor data veel sneller naar een GPU kan stromen dan bij geheugenchips die plat op een printplaat liggen, iets dat enorm belangrijk is voor het trainen en draaien van de grootste AI-modellen van vandaag.

DDR6 is een geheugenstandaard van de volgende generatie gericht op algemene computers, niet op gespecialiseerde AI-versnellers, en GDDR7 is vooral ontworpen voor videokaarten die videogames renderen. Geen van beide is gebouwd voor de extreme bandbreedte-eisen van zware AI-trainingshardware, zoals HBM4 dat wel is.

Geheugenbandbreedte, niet ruwe rekenkracht, is tegenwoordig vaak het echte knelpunt in AI-hardware, want de berekeningen van een chip zijn nutteloos als data niet snel genoeg kan worden aangeleverd, en dat is precies het probleem dat gestapeld geheugen zoals HBM moet oplossen.