Como se chama essa técnica de compressão?

A quantização reduz a precisão usada para armazenar cada um dos bilhões de números, chamados parâmetros, que compõem o conhecimento de um modelo de IA, por exemplo, convertendo números armazenados com 16 bits de precisão para apenas 4 ou 8 bits. Como cada número passa a ocupar menos memória e exigir menos computação, o modelo fica menor e mais rápido de executar, muitas vezes tornando possível rodar um modelo capaz em um hardware comum, como um notebook ou celular, em vez de servidores especializados.

Buffering significa armazenar dados temporariamente, geralmente áudio ou vídeo, para uma reprodução fluida, um conceito diferente de reduzir a precisão numérica de um modelo. Indexação significa organizar dados, como em um banco de dados, para que possam ser encontrados rapidamente, sem relação com reduzir o armazenamento numérico de um modelo.

Quando feita com cuidado, a quantização pode reduzir drasticamente o tamanho de um modelo afetando muito pouco sua precisão, motivo pelo qual se tornou uma técnica essencial que permite que uma IA surpreendentemente poderosa rode em dispositivos comuns de consumo, e não apenas em grandes data centers.