Bagaimana High Bandwidth Memory (HBM) mencapai bandwidth-nya yang sangat besar?

HBM mencapai bandwidth raksasanya dengan menumpuk beberapa chip memori secara vertikal satu di atas yang lain dan menghubungkannya dengan kawat vertikal kecil yang disebut through-silicon via, menciptakan jalur data yang sangat lebar dan pendek tepat di sebelah prosesor, alih-alih menyebar memori secara datar di seluruh papan sirkuit.

Menjalankan satu chip pada voltase lebih tinggi akan meningkatkan konsumsi daya dan panas, bukan secara mendasar mengubah seberapa banyak data yang bisa dipindahkan sekaligus, jadi itu bukan sumber keunggulan bandwidth HBM. Menyebar chip di seluruh motherboard justru merupakan pendekatan kebalikannya, tata letak datar tradisional yang dirancang untuk digantikan oleh HBM.

Karena penumpukan 3D HBM begitu rumit untuk diproduksi, saat ini hanya diproduksi oleh segelintir perusahaan di seluruh dunia, menjadikannya salah satu penyempitan pasokan paling ketat dalam pasar chip akselerator AI yang sedang berkembang pesat.