Bagaimanakah High Bandwidth Memory (HBM) mencapai lebar jalur yang amat besar?

HBM mencapai jalur lebarnya yang besar dengan menyusun beberapa cip memori secara menegak di atas satu sama lain dan menyambungkannya dengan wayar menegak yang amat kecil dipanggil through-silicon vias, mewujudkan laluan data yang amat luas dan pendek betul-betul di sisi pemproses berbanding menyebarkan memori secara rata merentasi papan litar.

Menjalankan sebuah cip pada voltan lebih tinggi akan meningkatkan penggunaan kuasa dan haba, bukan mengubah secara asasnya berapa banyak data yang boleh bergerak serentak, jadi ia bukan sumber kelebihan jalur lebar HBM. Menyebarkan cip merentasi papan induk sebenarnya pendekatan yang bertentangan, susun atur rata tradisional yang direka untuk digantikan oleh HBM.

Kerana penyusunan 3D HBM begitu rumit untuk dihasilkan, ia kini hanya dikeluarkan oleh segelintir syarikat di seluruh dunia, menjadikannya salah satu kesesakan bekalan yang paling ketat dalam pasaran cip pemecut AI yang sedang berkembang pesat.