Công nghệ bộ nhớ nào là trọng tâm của quan hệ hợp tác NVIDIA-SK hynix này?

HBM4, hay bộ nhớ băng thông cao, là trọng tâm của quan hệ đối tác giữa NVIDIA và SK hynix. HBM4 hoạt động bằng cách xếp chồng nhiều chip nhớ DRAM theo chiều dọc và kết nối chúng bằng những đường dẫn cực ngắn và rộng, giúp dữ liệu truyền đến GPU nhanh hơn nhiều so với các chip nhớ đặt phẳng trên bảng mạch, điều này vô cùng quan trọng đối với việc huấn luyện và vận hành các mô hình AI lớn nhất hiện nay.

DDR6 là một chuẩn bộ nhớ thế hệ mới hướng đến máy tính thông thường, không phải các bộ tăng tốc AI chuyên dụng, còn GDDR7 chủ yếu được thiết kế cho card đồ họa xử lý hình ảnh trò chơi điện tử. Không loại nào được xây dựng cho nhu cầu băng thông cực lớn của phần cứng huấn luyện AI như HBM4.

Băng thông bộ nhớ, chứ không phải sức mạnh xử lý thô, thường mới chính là điểm nghẽn thực sự trong phần cứng AI hiện nay, vì các phép tính của con chip trở nên vô nghĩa nếu dữ liệu không được đưa đến đủ nhanh, và đó chính xác là vấn đề mà bộ nhớ xếp chồng như HBM được thiết kế để giải quyết.