เทคโนโลยีหน่วยความจำใดที่เป็นศูนย์กลางของความร่วมมือ NVIDIA-SK hynix นี้?

HBM4 หรือหน่วยความจำแบนด์วิดท์สูง (high-bandwidth memory) คือหัวใจสำคัญของความร่วมมือระหว่างเอ็นวิเดียและเอสเค ไฮนิกซ์ HBM4 ทำงานโดยการซ้อนชิปหน่วยความจำ DRAM หลายตัวในแนวตั้งและเชื่อมต่อกันด้วยเส้นทางที่สั้นและกว้างมาก ทำให้ข้อมูลไหลไปยัง GPU ได้เร็วกว่าชิปหน่วยความจำที่วางเรียงแบนราบบนแผงวงจร ซึ่งมีความสำคัญอย่างยิ่งต่อการฝึกฝนและรันโมเดล AI ขนาดใหญ่ในปัจจุบัน

DDR6 เป็นมาตรฐานหน่วยความจำรุ่นถัดไปที่มุ่งเน้นสำหรับคอมพิวเตอร์ทั่วไป ไม่ใช่ตัวเร่งความเร็ว AI เฉพาะทาง ส่วน GDDR7 ออกแบบมาสำหรับการ์ดจอที่ใช้ประมวลผลกราฟิกในเกมเป็นหลัก ทั้งสองอย่างไม่ได้ถูกสร้างมาเพื่อรองรับความต้องการแบนด์วิดท์สูงมากของฮาร์ดแวร์ฝึกฝน AI ขนาดมหึมาแบบที่ HBM4 ทำได้

แบนด์วิดท์ของหน่วยความจำ ไม่ใช่พลังการประมวลผลดิบ มักเป็นคอขวดตัวจริงของฮาร์ดแวร์ AI ในปัจจุบัน เพราะการคำนวณของชิปจะไร้ประโยชน์หากป้อนข้อมูลให้ทันไม่ได้ ซึ่งนี่คือปัญหาที่หน่วยความจำแบบซ้อนอย่าง HBM ถูกออกแบบมาเพื่อแก้ไขโดยเฉพาะ