¿Cómo se llama esta técnica de compresión?

La cuantización reduce la precisión usada para almacenar cada uno de los miles de millones de números, llamados parámetros, que componen el conocimiento de un modelo de IA, por ejemplo convirtiendo números almacenados con 16 bits de precisión a solo 4 u 8 bits. Como cada número ocupa entonces menos memoria y cómputo, el modelo se vuelve más pequeño y rápido de ejecutar, permitiendo a menudo encajar un modelo capaz en hardware ordinario como un portátil o un teléfono, en lugar de en servidores especializados.

El buffering significa almacenar temporalmente datos, a menudo audio o vídeo, para una reproducción fluida, un concepto distinto de reducir la precisión numérica de un modelo. La indexación significa organizar datos, como en una base de datos, para poder encontrarlos rápidamente, sin relación con reducir el almacenamiento numérico de un modelo.

Cuando se hace con cuidado, la cuantización puede reducir drásticamente el tamaño de un modelo mientras apenas afecta a su precisión, lo cual la ha convertido en una técnica clave que permite que una IA sorprendentemente potente funcione en dispositivos de consumo cotidianos en lugar de solo en grandes centros de datos.