Paano nakakakamit ng High Bandwidth Memory (HBM) ang napakalaking bandwidth nito?

Ang HBM ay umaabot sa napakalaking bandwidth nito sa pamamagitan ng pag-istak ng ilang memory chip nang patayo sa ibabaw ng isa't isa at pagkokonekta sa mga ito gamit ang maliliit na patayong wire na tinatawag na through-silicon vias, na lumilikha ng napakalapad at maikling daanan ng datos sa tabi mismo ng processor sa halip na ikalat ang memorya nang patag sa ibabaw ng circuit board.

Ang pagpapatakbo ng iisang chip sa mas mataas na voltage ay magdaragdag ng power draw at init, hindi pangunahing magbabago sa dami ng datos na maigagalaw nang sabay-sabay, kaya hindi ito ang pinagmumulan ng kalamangan ng HBM sa bandwidth. Ang pagkakalat ng mga chip sa buong motherboard ay talagang kabaligtaran na paraan, ang tradisyunal na patag na layout na binago ng HBM para palitan.

Dahil napakakumplikado gawin ang 3D stacking ng HBM, kakaunting kumpanya lamang sa buong mundo ang gumagawa nito ngayon, na ginagawang isa sa pinakamahigpit na bottleneck ng supply sa umuusbong na merkado ng mga AI accelerator chip.