Comment s'appelle cette technique de compression ?

La quantification réduit la précision utilisée pour stocker chacun des milliards de nombres, appelés paramètres, qui composent les connaissances d'un modèle d'IA, en convertissant par exemple des nombres stockés avec 16 bits de précision en seulement 4 ou 8 bits. Chaque nombre occupant alors moins de mémoire et exigeant moins de calcul, le modèle devient plus petit et plus rapide à exécuter, ce qui permet souvent de faire tourner un modèle performant sur du matériel ordinaire, comme un ordinateur portable ou un téléphone, plutôt que sur des serveurs spécialisés.

La mise en mémoire tampon (buffering) consiste à stocker temporairement des données, souvent audio ou vidéo, pour une lecture fluide, un concept différent de la réduction de la précision numérique d'un modèle. L'indexation consiste à organiser des données, comme dans une base de données, pour qu'elles puissent être retrouvées rapidement, sans rapport avec la réduction du stockage des nombres d'un modèle.

Effectuée avec soin, la quantification peut réduire considérablement la taille d'un modèle tout en affectant à peine sa précision, ce qui en a fait une technique clé permettant à une IA étonnamment puissante de fonctionner sur des appareils grand public ordinaires plutôt que dans les seuls grands centres de données.