Quelle technologie de mémoire est au centre de ce partenariat NVIDIA-SK hynix ?

La HBM4, ou mémoire à large bande passante, est au cœur du partenariat entre NVIDIA et SK hynix. La HBM4 fonctionne en empilant plusieurs puces de mémoire DRAM verticalement et en les reliant par des connexions extrêmement courtes et larges, ce qui permet aux données de circuler vers un GPU bien plus vite que des puces mémoire disposées à plat sur une carte de circuit, un avantage énorme pour entraîner et faire fonctionner les plus grands modèles d'IA d'aujourd'hui.

La DDR6 est une norme mémoire de nouvelle génération destinée aux ordinateurs classiques, pas aux accélérateurs d'IA spécialisés, et la GDDR7 est conçue principalement pour les cartes graphiques traitant le rendu des jeux vidéo. Aucune des deux n'est conçue pour les demandes extrêmes de bande passante du matériel d'entraînement massif d'IA, contrairement à la HBM4.

La bande passante mémoire, plus que la puissance de calcul brute, est souvent le véritable goulot d'étranglement du matériel d'IA aujourd'hui, car les calculs d'une puce ne servent à rien si les données ne peuvent pas lui être fournies assez vite, exactement le problème que la mémoire empilée comme la HBM est conçue pour résoudre.