Kỹ thuật nén này được gọi là gì?

Lượng tử hóa (quantization) giảm độ chính xác dùng để lưu trữ mỗi con số trong hàng tỷ con số, gọi là tham số, tạo nên kiến thức của một mô hình AI, chẳng hạn chuyển các con số được lưu với độ chính xác 16 bit xuống chỉ còn 4 hoặc 8 bit. Vì mỗi con số khi đó chiếm ít bộ nhớ và tính toán hơn, mô hình trở nên nhỏ gọn và chạy nhanh hơn, thường giúp việc chạy một mô hình mạnh mẽ trên phần cứng thông thường như laptop hay điện thoại trở nên khả thi, thay vì chỉ chạy được trên máy chủ chuyên dụng.

Bộ nhớ đệm (buffering) nghĩa là tạm thời lưu trữ dữ liệu, thường là âm thanh hoặc video, để phát mượt mà, một khái niệm khác với việc giảm độ chính xác số của một mô hình. Lập chỉ mục (indexing) nghĩa là sắp xếp dữ liệu, như trong một cơ sở dữ liệu, để có thể tìm nhanh, không liên quan đến việc thu nhỏ cách lưu trữ số của một mô hình.

Khi được thực hiện cẩn thận, lượng tử hóa có thể thu nhỏ đáng kể kích thước của một mô hình trong khi hầu như không ảnh hưởng đến độ chính xác, đó là lý do vì sao nó đã trở thành một kỹ thuật then chốt giúp AI mạnh mẽ đến bất ngờ có thể chạy trên các thiết bị tiêu dùng hàng ngày thay vì chỉ trong các trung tâm dữ liệu lớn.